سولاتی در مورد معماری الکس نت

Question

با سلام و تشکر از عزیزانی که وقت گرانبهاشون رو برای پاسخ گویی در اختیار قرار میدن...
چندتا سوال در مورد شبکه کانولوشنی داشتم که ممنون میشم راهنمایی بفرمایید.

1-چرا در معماری الکس نت از 5 تا لایه کانولوشنی و 3 تا لایه تماما متصل استفاده شده؟ مثلا چرا از 2 تا لایه کانولوشنی استفاده نشده؟ و همچنین چرا در لایه تماما متصل آخر از 2 تا لایه تماما متصل استفاده شده ؟ اون لایه اخر که 1000 تا خروجی میده ، از نوع تماما متصل هست ؟ آیا با این کار ویژگی ها بهتر تفکیک میشن؟

2-loss در این معماری الکس نت به چه صورت هست؟ فرقش با cost function در چی هست و از چه تابعی برای محاسبه خطای دسته بندی استفاده میشه؟ اینکه softmax کار دسته بندی را انجام میدهد یا فقط دسته برنده توسطش اعلام میشه؟ دسته بندی توسط fully connected هست ؟

3-در این معماری الکس نت معمولا تصاویر به صورت 3 بعد به شبکه داده میشوند ، اما در کارهای پزشکی از این شبکه استفاده میشه و تصاویر پزشکی به صورت gray scale هستند و تنها یک کانال دارند ، اما میان و این یک کانال رو 3 بار تکرار میکنن و به شبکه به عنوان وروردی میدهند ، خب این کار چه توجیهی داره که تصویر پزشکیمون 3 کاناله بشه ؟

4-در آموزش سایت نوشته شده که فیلترها در مقابل بعضی فعال سازی ها ویژگی ها رو یاد میگیرند و نورون ها یاد میگیرند که برای ویژگی های مختلف فعال شوند ... این جمله یعنی چی و اینکه چطوری یاد میگیرند ؟ مثلا در لایه اول که 96 برش عمقی داریم و 55 * 55 تا نورون در هر برش عمقی که اینها تماما از یک مجموعه وزن استفاده میکنند و به همین دلیل بهشون فیلتر میگیم و 96 تا فیلتر داریم و بعد از اینکه تصویر ورودی با تمام این 96 تا فیلتر کانوالو شد ، و 96 توده فعال سازی آماده شد ، روی هم قرار میگیرند و تشکیل یک توده خروجی رو میدهند و بعد به لایه رلو میروند...فیلترها چه چطوری یاد میگیرند؟ چه چیزی یاد میگیرند؟ میشه یه مقدار جزئی تر توضیح بدید...

Answer 1

سلام دوست عزیر
1- اینکه از چند لایه کانولوشنال استفاده کنی تا حدی با آزمون و خطا هستش. البته میشه گفت سه لایه تقریبا مینیمم هستش چون لایه اول فیلتر های خطی (تکستون ها) لایه دوم فیلتر های در جه بالاتر و لایه سوم تقریبا شی رو پوشش میده. میتونست 4 لایه هم استفاده کنه ولی محدودیت حجم رم GPU وجود داشته.
و همچنین برای لایه های FC میتونست از سه لایه یا بیشتر هم استفاده کنه ولی نیاز نمیشه و فقط سربار محاسباتی به سیستم اضافه میشه.
لایه آخر همه fc هستش.
با لایه های conv ویژگی ها رو استخراج میکنه و با لایه های fc ویژگی ها رو برای کلاس های مختلف کلاسبندی می کنه.

2- برای آموزش شبکه از SGD‌ استفاده کرده.
تابع softmax در لایه آخر مقادیر مختلفی که برای کلاس های مختلف بدست آمده رو دستکاری می کنه. بطوری که مقادیر بیشتر رو بشتر و مقادیر کمتر رو کمتر می کنه و این باعت میشه خطای با دامنه بزرگتری به لایه های قبلی انتقال داده بشه و عمل یادگیری سریعتر انجام بشه.

3- فیلتر های لایه اول دارای عمق 3 برای کانالهای رنگی هستند و بایستی عکس ورودی حتما سه لایه باشه. البته بایستی با تکرار لایه های خاکستری شبکه فاین تیون هم بشه. (یه سری از فیلتر های لایه اول فیلتر های رنگی هستند)

4- برای یه شبکه که وزن ها در ابتدا رندم هستند. می شه گفت که فیلتر ها هیچی یاد نگرفتن (گاو گاو :ی) . بعد از شروع عمل اعمال تصویر در ورودی و برگرداندن میزان خطا در لایه های مختلف شبکه مقادیر فیلتر ها آپدیت میشن و با ترین کردن کل شبکه روی تمام عکس های ورودی و آپدیت کردن این وزن ها فیلترها به حالتی میرسند که میتونن ويژگی خاصی (مثل لبه ها با زوایای مختلف. ترکیب رنگ و ... ) از تصویر را استخراج کنند. و این یعنی فیلتر یاد گرفته.

Comments

سلام...آقا خیلی ممنونم...واقعا عالی عالی بود جوابتون...همیشه موفق و سلامت باشید