معماری شبکه Lenet5

Question

در معماری شبکه LeNet 5، در هر بار Pooling کردن، باعث کاهش اندازه یا ابعاد feature maps میشه
و این باعث تغییر در تعداد وزن ها میشه
آیا این تغییر از رابطه خاصی پیروی میکنه؟!!
مخصوصا از چه رابطه ای در محاسبه وزن ها در لایه دوم استفاده میکنه؟!!

Answer 1

سلام .
اگه منظورتون از وزن ماتریس وزن باشه کاهش بعد ربطی به تعداد ماتریس وزنها نداره.
هر فیچرمپ تنها از لحاظ مکانی (طول و عرض) کاهش پیدا میکنه. و هر فیچرمپ هم یک ماتریس وزن داره.(برابر با اندازه کرنلی که مشخص کردید)
فرمولهای مورد نیاز برای محاسبه ابعاد و... در سایت داده شدن و توضیح کامل داده شده به لینک زیر مراجعه کنید اطلاعات مورد نیازتون رو پیدا میکنید
http://deeplearning.ir/آموزش-شبکه-کانولوشن-بخش-دوم/

Answer 2

ببینید فعلا تا الآن فرمول دقیق و مشخصی ارایه نشده و بحث بهینه سازی معماری های شبکه ها به صورت هوشمند و خودکار یه مبحث تحقیقاتی هستش.
برای درک دلیل معماری طراحی شبکه های ژرف باید چند نکته رو مد نظر داشته باشید. مثلا در شبکه های کانولوشن بر روی تصویر یکی از بحث هایی که برای طراحی لایه ها مطرح هستش بحث مفاهیم تصویر ورودی و همچنین اندازه تصویر ورودی هست. اندازه اجزای تصویر ورودی و مفاهیم این اجزا در انتخاب اندازه ناحیه های ادراکی تاثیر گذار هستن. همچنین میزان ویژگی های استخراجی از ناحیه های ادراکی به سطح ویژگی بازنمایی شده بستگی داره. یعنی در لایه های اول و کم عمق میزان عموما با توجه به خام بودن ویژگی های ورودی (تصویر خام) و اینکه در این لایه ها ویژگی هایی در حد فیلترهای خطی و لبه یابی بازنمایی می شه و همچنین با توجه به کوچک بودن ناحیه ادراکی ابعاد ویژگی ها هم کمتر هست. عموما هر چه لایه ها ژرف تر می شوند اندازه ناحیه ادراکی هم بزرگتر می شود و مفاهیم ویژگی های استخراجی نیز سطح بالاتر می شن. یعنی در واقع لایه ی ژرف تر از ویژگی های بازنمایی شده لایه ی کم عمق تر استفاده می کنه. پس بازنمایی سطح بالاتری داره و همچنین ناحیه ادراکی بزرگتر هست در نتیجه عموما افزایش ابعاد ویژگی به ازای ناحیه ادراکی را شاهد هستیم. در مورد بحث لایه های Pooling در بعضی از کارهای جدید استفاده از این لایه ها کنار گذاشته شده. یکی از عمده ترین دلایل استفاده از این لایه ها کاهش حجم داده ها به دلیل محدودیت سخت افزاری و نرم افزاری بوده. یعنی سخت افزارها حافظه پردازشی محدودی داشتن که تا الآن این مشکل تا حدودی رفع شده و همچنین از نظر امکانات حجم داده و همین طور روش آموزش دچار محدودیت بودن و در صورت افزایش بیش از اندازه ابعاد به مشکلاتی نظیر بیش برازش و یا انتشار خطا بر می خوردن. یکی دیگر از دلایل استفاده از Pooling بحث استقلال از جهت تصویر هستش. برای همین منظور تعیین اندازه فیلترهای این لایه وابستگی زیادی به ابعاد تصویر به نسبت اشیای داخلش داره. در نهایت مطالعه این منابع رو توصیه می کنم:
۱) Visualizing and Understanding Convolutional Networks : توضیح مفاهیم لایه های شبکه های کانولوشن
۲) CNNs آموزش مفاهیم شبکه های کانولوشن و ارتباط آنها با ساختار عصبی انسان (خیلی خلاصه)
۳) Deep Res شبکه های بسیار عمیق با توضیح مشکلات آموزش در شبکه های ژرف و انتشار خطا میان لایه ها