همگرایی شبکه عمیق با تعداد خروجی زیاد

Question

من روی یک پروژه سگمنتش کار میکنم سایز تصویر من 512512 هستش ولی برای اینکه سیستم زیاد پیچیده نشه دیگه بعد لایه fc از روش unpool و یا unconv استفاده نکردم و فقط براساس خروجی برنامه سایر لایه خروجی رو تغییر دادم مثلا خروجی سکمنتشمن 6464 کردم چون در داخل سیستم از 4 pool استفاده کرده ام. و سایز پنچره conv رو 1*1 رو انتخاب کرده ام.
فقط متاسفانه با تغییر پارامترهای برنامه سیستم من همگرا نمیشه و فقط چند اینتریشن همگرا شده و متوقف می شود و به صورت برعکس عمل میکنه.
خواستم بپرسم ایا این به خاطر این هستش که لایه خروجی من بزرگ هست و یا چی؟

Answer 1

همانطوری که قبلا اینجا هم توضیح داده بودم حذف کردن لایه های conv/pool بجای fc برای کاهش پیچیدگی شبکه کار درستی نیست و شما باید برعکس این را انجام بدید.

برای مسائل segmentation معمولا از معماری های به شکل زیر استفاده می شود:

در این معماری ابتدا لایه های conv/pool قرار گرفتند که ویژگی ها را از تصویر استخراج کرده و آن را down sample می کنند و بعد لایه های unpool/deconv که آن ها هم وظیفه استخراج ویژگی و افزایش ابعاد و dense کردن آن را انجام می دهند.
لایه های unpool/deconv در این کار بسیار مهم هستند, در segmentation استفاده از لایه های fc باعث افزایش بیهوده پارامتر ها و ایجاد همبستگی (correlation) بیهوده خواهد شد. عملکرد لایه های unpool/deconv در شکل زیر مشخص هست:

لایه های unpool ابعاد تصویر را گسترش می دهند اما تصویر تولیدی تقریبا sparse هست و غلظت مناسبی ندارد وظیفه ی لایه های deconv غلیظ (dense) کردن تصویر unpool شده هست با توجه به فیلتر هایی که یاد گرفتند.

بنابرین توصیه می کنم که شما از معماری هایی مثل SegNet استفاده کنید تا به نتیجه خوبی برسید.

Comments

خیلی ممنون اقای فروزنده نژاد. من این معماری رو دیده بودم چون پیاده سازی این برنامه رو خودم زدم خواستم با تغییر سایز خروجی مورد نظرمو ببینم یعنی فقط میخواستم خروجی رو در سایز کوچیک ببینم ولی متاسفانه سیستم همگرا نشد سوالم اینه که ایا به خاطر همین unpoolو... هستش و یا نه باید حتما خروجی رو به من میداد و کد من مشکلی داره!