صفر و یک شدن لایه ها

Question

سلام
من یک شبکه عصبی عمیق برای دیتاست اعداد ساخته ام
برای لایه های conv+relu+pool+conv + relu + fc+fc زیر همگرا می شود ولی برای حالت زیر همگرا نمی شود

conv+relu + conv + relu + pool+fc+fc

و لایه ها به سمت صفر و یا یک همگرا می شود
دوستان راهنمایی کنن مشکل جیه
و ضمنا من در لایه ها کانوالم سایزمو حفظ می کنم1
ایا احتمال داره به خاطر همین مسله باشد؟
و سوال دیگه ام این است که برای یک تصویر به سایز 28*28 حداکثر چند لایه میشه استفاده کرد؟

Answer 1

سلام. همگرایی یا عدم همگرایی ارتباط به یک چیز نداره بلکه مرتبط با خیلی از فراپارامترهای شما مثل نرخ یادگیری و... داره برای همین اینطور نمیشه کمک چندانی کرد. همیشه سعی کنید برای خطا یابی نرخ یادگیری ، قدرت regularizer رو چک کنید.
نمودار رو هم رسم کنید تا بهتر بتونید لاس و دقت رو چک کنید ببینید به چه شکل پیش میرید آیا استارت خوبه بعدا دایورج میکنید یا اینکه نه از ابتدا مشکل دارید .
موقع درخواست کمک هم سعی کنید اطلاعات تکمیلی بیشتری بدید . همیشه نمیشه حکم کلی داد و این حکم ها ممکنه کمک خوبی نکنن.

اندازه تصاویر اهمیت داره اما چیزی که بیشتر اهمیت داره اندازه دیتاست هست . شما میتونید هم یک شبکه یک لایه داشته باشید هم 1 میلیون لایه ای ! چیزی که تعین کننده اس اینجا اندازه دیتاست شماس نه اندازه تصویر شما.

Comments

خیلی ممنون بابت جوابتون.
شبکه من از همان اول به مشکل میخوره مخصوصا لایه اخر که خروجی را میدم به کلاسیفایر احساس میکنم نرخ کلاسفایرم موقعه برگشت خیلی تاثیر منفی روی لایه هام میزاره. یعنی لایه متصل به کلاسفایرم که یک شبکه عصبی کامل است لایه POOL منو یک و یا صفر میکنه و باعث میشه روند یادگیری به مشکل بربخوره

---

شما از فریم ورک خاصی استفاده میکنید؟ مطمئنید پیاده سازی مشکلی نداره ؟
شما شبکه عصبی کامل رو چطور پیاده سازی کردید ؟ منظورتون یک یا دو لایه fully connected متصل به هم هست که بصورت fc fc نشون دادید ؟ و بعد از اون یه سافتمکس گذاشتید ؟ یا نه پیاده سازی خاصی هست؟
معماری شما تفاوت چندانی با هم ندارن . جز اینکه لایه پولینگ بجای ابتدای شبکه رفته تقریبا اخرای شبکه. بصورت پیشفرض این باید باعث بهبود نتیجه شما هم بشه. البته باز میگم باید چک کنید فراپارامترها رو چقدر تغییر دادید یا اگر پیاده سازی خاصی هست اون رو چک کنید.
واقعیتش رو عرض کنم توضیحات شما چندان واضح نیست. و من مجبورم توضیحات کلی بدم . مثلا من متوجه فرمایش شما در مورد نرخ کلاسیفایرتون نمیشم . منظورتون گرادیان خطاس؟ بزرگه ؟ اگه آره مقداردهی اولیه رو چطور انجام دادید ؟ xavier یا gaussian . اگر gaussian  بود std رو چقدر ست کردید ؟ 0.01 یا کمتر بیشتر ؟ نرخ یادگیری رو کاهش دادید ؟ weight decay استفاده کردید ؟ اینا سوالهایی هست که باید از خودتون بپرسید و جواب بدید .

---

من  با متلب خودم نوشتم. در صورت اینکه علاقه مند و فذصت داشته باشید میتونم هماهنگ کنیم تا کدهامو جک کنیم. اینپاراترهای که گفتید رو  همشون رو بالا پایین کرده ام و مقدار دهی اولیه رو به صورت نرمال از کوسین استفاده کرده ام. اگر امکانش است در تلگرام یک پیام بدهید تا بیشتر هماهنگ کنیم و بعد نتایج رو اینجا بیاوریم.

---

سلام . من متاسفانه با متلب آشنایی ندارم و از طرفی یک مدت بشدت سرم شلوغ هست شما کدها رو همینجا به متن سوال اضافه کنید که هم من و یا دیگران چیزی رو تشخیص دادیم بتونیم کمک کنیم.
از طرفی شماره تلفنتون رو اینجا نزارید بهتره . من ویرایش کردم . برای اینجور صحبت ها از ایمیل و پیام خصوصی سایت میشه استفاده کرد و شماره یا اطلاعات حساسی اگر نیاز هست از اون طریق منتقل بشه.