سوالاتی در مورد لایه بچ نرمالیزیشن

Question

سلام...ممنون میشم این سوالمو به صورت توضیح کامل و دقیق بدید...کار لایه بچ نورمالیزیشن رو میشه با یک مثال توضیح بدید
1-میدونم که برای مشکل covariant shift است ...اما این مشکل چطوری در توده ورودی و خروجی بوجود میاد؟
2-وقتی که میانگین و واریانس رو حساب کرد ، چه اتفاقی می افته؟
2-3 تا پارامتر بتا و گاما چه وظیفه ای دارند؟خوندم که این پارامترها قابل یادگیری اند ...دقیقا یعنی چی و چه چیزی رو یاد میگیرند؟
4-این لایه به چه مقدار زمان آموزش را کاهش میدهد و همچنین چه مقدار دقت را بهبود میدهد؟
5-در پایان الگوریتم نرمال سازی ، اصطلاح scale and shift وجود داره...منظور چه هست؟
ممنون میشم کامل و جامع راهنمایی بفرمایید و همینطور روابط ریاضیش رو هم بفرمایید که چه میکنه...
این سوالات را هم مطالعه کردم
http://qa.deeplearning.ir/2464/لایه-batch-normalization-بچ-نرمالیزیشن

http://qa.deeplearning.ir/548/نرمال-سازی-برای-دستیابی-خروجی-بهتر

Comments

خواهش میکنم . آره منظورم این بود که اینارو مثل همون ها در نظر بگیر. اینکه چطور کار میکنن هم مثل همونها بهشون نگاه کن.

---

اها...سید جان توی سایت جایی توضیح دادی بک پراپگیشن رو؟
پس فک کنم بخاطر همینه توی فهم این موضوع مشکل دارم ،اخه  خیلی وقته با بک پراپگیشن مشکل دارم...مطلب فارسی هست برای مطالعه؟یا چیزی که ساده توضیحش بده؟  دستت درد نکنه....

---

بک پراپگیشن ؟ من دو سه سال پیش یک مطلبی نوشته بودم برای شبکه عصبی مصنوعی ولی متاسفانه فرصت نکردم تو سایت بزارم چون در نظر داشتم بخش کانولوشن اون رو هم بنویسم و بعد بزارم (و این رو هم ویرایش کنم ) دیگه فرصت نشد. اگه فکر میکنی بدردت میخوره تو تلگرام پیام بده برات بفرستم

Answer 1

سلام.

خب سوالات خیلی تخصصی هست. زیاد ربطی به سوالاتون نداره اما شاید دانستن این موارد برایتون مفید باشه:
- لایه نرمالسازی علاوه بر تمام ویژگی های که دارد به نوعی ویژگی regularization را به شبکه تزریق میکنه یعنی با درصد dropout رابطه داره. اگر این لایه را حذف کنید معمولا باید درصد dropout بالاتری انتخاب کنید و با درنظر گرفتن آن درصد dropout باید پایینتر انتخاب شود.

• این لایه محاسبات الگوریتم یادگیری را افزایش می دهد و سرعت یادگیری در هر epoch کاهش می یابد ولی با تعداد epoch های کمتری به نتیجه خواهید رسید. در آزمایشات من کاهش زمان محسوسی نسبت به حالتی که این لایه استفاده نشود احساس نشد! زیرا در صورت عدم استفاده از لایه بچ نورمالیزیشن ناچار هستید تعداد epoch را افزایش دهید.

• من در مورد یک دیتاست نسبتا آسان با استفاده و بدون استفاده از لایه بچ نورمالیزیشن به بالاترین دقت دست یافتم ولی در مورد دیتاست دیگر تنها در صورتیکه از این لایه استفاده شده بود بهترین نتیجه بدست آمد