معماری sqeezenet

Question

سلام و وقتتون بخیر
چندتا سوال دارم از مقاله ای که توی وبلاگ زیر قرار داده شده:

سال 2016 در یک نگاه-SqueezeNet-.بخش پنجم

1-در این متن نوشته شده که

در این مقاله از سه استراتژی برای کاهش تعداد پارامتر ها و افزایش دقت استفاده میشود که در نتیجه حجم شبکه به کمتر از یک مگابایت کاهش پیدا میکند.

این سه استراتژی کامل بیان نشده ؟!!!!! الف) جایگزین کردن فیلتر های 3×3 با فیلتر های 1×1 ب) کاهش تعداد کانال های ورودی برای فیلتر های3×3 باقیمانده. استراتژی سوم چیه؟

2- این که نوشته " فیلتر های3×3 باقیمانده." منظور از باقی مانده چیه ؟ کدوم فیلترها ! لطفا بیشتر توضیح دهید.

3- " در این مقاله به جای استفاده از لایه تماما متصل سنتی آنها روشی به نام global average pooling را پیشنهاد دادند ، در شبکه هایی که از لایه تماما متصل برای کلاسهای بندی استفاده میکنند خروجی feature maps بعد از الحاق به یکدیگر به sofmax داده میشوند اما در این روش به ازای هر کلاس یک feature map بعد از آخرین لایه mlpcov تولید می‌شود به جای اضافه کردن یک لایه تماما متصل در بالای feature map ها آنها از feature map ها سود می‌برند و نتایج بردار ویژگی مستقیما به softmax داده میشوند . یکی از ویژگی هایش این لایه نبودن مشکل بیش بر ارزش به علت عدم وجود پارامتری برای بهینه سازی است و از طرفی این لایه نسبت به تغییرات محلی مقاوم تر و با اصل شبکه هایش کانولوشن سازگارتر است." این پاراگراف رو متوجه نمی شم می شه لطفا بیشتر توضیح بدید

4-در جواب به تفاوت ایده در معماری ها این مطلب نوشته شده که: " این تفاوت ها را میتوان از سه دیدگاه بررسی کرد". کدام سه دیدگاه لطفا واضح تر بیان کنید . 1- معماری و چی؟!!!(مابقی دیدگاه ها چه هستند؟)

متشکرم

Answer 1

سلام
سه تا مبحث مطرح شد در این مقاله
1. ترجیحا از پولینگ در انتهای معماری استفاده کنید (یا بهتر بگیم سعی کنید در ابتدای معماری استفاده نکنید. ایده اینجا اینه که لایه ها به داده بیشتر دسترسی داشته باشن و کمتر حجم قابل توجهی از داده ها خیلی سریع از بین بره (قبل از اینکه مورد پردازش مناسب قرار بگیرن)
2.از فیلتر 3در3 کمتر استفاده بشه
3.ورودی به فیلتر 3در3 هم کاهش پیدا کنه (منظورش استفاده از تکنیک باتل نک هست اینجا)

برای بخش

2- این که نوشته " فیلتر های3×3 باقیمانده." منظور از باقی مانده چیه ؟ کدوم فیلترها ! لطفا بیشتر توضیح دهید.

هم متوجه نشدم از مقاله اصلی عنوان کنید کجا مشکل دارید

خیلی خلاصه بخوام بگم اون بخش اخر هم از معماری NIN یا همون Network in Network تبعیت کرده . گفته بجای اینکه ما برای دسته بندی در انتهای شبکه از یک لایه تماما متصل استفاده کنیم که عموما اورفیت میکنن و همینطور تفسیر چیزی که فرا میگیرن سخته بیاییم از یک لایه کانولوشن استفاده کنیم . با این شکل که یک لایه کانولوشن قرار میدیم و به تعداد کلاسها هم فیلتر اختصاص میدیم بهش. وقتی ورودی به شبکه تغذیه شد دیگه در اخر ما فیچر وکتور نداریم فیچرمپ داریم . (بجای اینکه 10 تا عدد داشته باشیم برای یک کلاس ممکنه مثلا 10 تا فیچرمپ 4x4 داشته باشیم) حالا برای اینکه یک امتیاز داشته باشیم به ازای هر کلاس میاییم خروجی اون لایه کانولوشن رو میدیم به یک Global Average pooling و بعد خروجی اون رو میدیم به سافتمکس .
کاری که داریم میکنیم در اصل اینه که هرفیچرمپ رو بعنوان یک میزان از وجود یک کلاس در نظر میگیریم و بعد با میانگین گیری هر فیچرمپ یک امتیاز بدست میاریم که این نشون دهنده میزان اطمینان شبکه از وجود یک کلاس در یک فیچرمپ هست.
ازیک طرف چون این یک عملیات پولینگ هست پارامتری نداره و خبری از بیش برازش نیست و از طرف دیگه بقول مولفان NIN تفسیر بهتری نسبت به یک لایه تماما متصل بما ارائه میکنه.

اون بخش اخر رو هم باز از مقاله اصلی عنوان کنید تا راهنمایی بشید.