انتخاب ابعاد کرنل ها در معماری الکس نت چگونه انجام شده است؟

Question

سلام و عرض ادب
با مطالعه اینجا: طریقه پیاده سازی کانولوشن 1در1 بجای FC چگونه است؟ یک سری سوال برام پیش اومد
مثلا در معماری الکس نت که اندازه ورودی 227*227*3 هست (ک مبنای اون برام مبهم هست)، میاد اول recitive field با ناحیهادراکی یا [96 3 11 11] یهنی با 96 فیلتر کرنل 11در 11 رنگی تصویر رو کانواولو میکنه ک توده خروجی طبق فرمول 55 میشه .بعدش میاد با relu همه مقادیر رو مثبت میکنه سپس از لایه ادغام [3 3] برای downsample استفاده میشه.

اولین سوال اینه اندازه پنجره لایه pooling از کجا بدست میاد؟ چرا3 در 3؟
بعدش در مرحله بعد اومده دوباره کانوالو رو با [256 48 5 5] انجام داده است.
این مقادیر 5*5 و 48 و 256 چیه؟
همچنین لابه pooling بعدی رو چرا 3*3 انتخاب کرده؟

ممنون

Answer 1

سلام
اندازه ورودی رو هرچیزی میتونستن بگیرن فقط دوتا نکته رو توجه باید میکردن 1. اندازه ای که برای رندوم کراپ استفاده میکردن زیاد کوچیک نباشه و 2 انقدر هم بزرگ نباشه که سربار پردازشی زیادی داشته باشه . و 256 و بعد هم این اندازه بنظر با این تفاسیر گزینه مناسبی اومد. (این عدد وحی منزل نیست و با توجه به نیازمندی های سخت افزاری میتونید ست کنید. مقدار 256 اندازه رایجی بحساب میاد)
این ها همه فرا پارامتر هستند و با سعی و خطا بدست میان . اما در این مورد خاص اونها برای کاهش ابعاد سریع از اون استفاده کردند. امروزه از این اندازه یا استفاده نمیشه یا خیلی کم استفاده میشه (من ندیدم )
5در5 اندازه کرنل هست . 256 تعداد فیلترهایی که وجود داره و 48 هم اندازه توده ورودی هست (از مرحله قبل شما 96 فیچرمپ داشتید که الکس برای اینکه مشکل کمبود حافظه رو برطرف کنه اونا رو به دو بخش تقسیم کرد یک گروه 48 روی یک کارت لود میشد و یک گروه 48 تایی دیگه روی یه کارت دیگه و بصورت موازی انجام میشدن و نهایتا نتایج تجمیع میشدن

Comments

ممنون  مثل همیشه عالی بود
فقط این کرنل لایه pooliing مثلا [3  3]  باشد کدوم روش درسته؟
1- یعنی طول و عرض تصویر هر یک 3 بار تقسیم بر 2 میشه؟
یا روش دیگه  توی لایه اول که توده خروجی 55 هست و کرنل پولینگ 3در3 باشه اینطور مینویسند
(55 – 3)/2 + 1 = 27
همچنین تعداد فیچر مپ در هر مرحله ، تعداد فیلترها در لایه کانولوشن بعدروتعیین میکند؟
مثلا چون در لایه کانولوشنی در معماری الکس نت چون تعداد فیچر مپ ها  256 تا هست([5 5 48 256]) پس در دو لایه کانولوشن بعدی دو تا کرنل با ابعاد [3 3 192 384]  استفاده میکنند این 384 از کجا بدست اومده و چرا ابعاد کرنل این دو لایه کانولوشن یکسان هست؟( لای کانولوشن سوم و چهارم)
ممنون

---

سلام. 3در3 یعنی اندازه کرنل در 3 هست با گام 3. لطفا یکبار خوب مطالب آموزش کانولوشنی که در سایت اومده رو مرور کنید . معمولا وقتی 2در2 میگن  یا هر اندازه دیگه ای یکی اشاره به اندازه کرنل داره  ودیگری گام هست . مگر اینکه چیزی غیر از این در متن مقاله قید بشه .
یک قائده کلی هست که میگه با کاهش اندازه فیچرمپها در شبکه شما تعداد فیچرمپ ها رو رفته رفته بیشتر کنید.
الکس نت خیلی خیلی بد این بخش رو توضیح داده مثل بقیه بخشا. 384 تعداد فیلتر(کرنل) هست. 192 هم همین(فیلتر مرحله قبلش و تعداد فیچرمپ حاصله از اون) . یکی اشاره به تعداد فیلتر لایه فعلی هست و دیگری اشاره به توده ورودی اون . و یکی دیگه هم اندازه کرنل هست .
بخش آخر رو متوجه نشدم یعنی چرا دوتا لایه دارید که 384 تا فیلتر داره ؟