واگرایی شبکه به هنگام آموزش

Question

سلامو عرض ادب
من دیتا بیس خودم رو با مدلvgg16 فاین تیون کردم .یعنی لایه تمام متصل اخری و لایه softmax رو تغییر دادم اما زمان ترین شدن واگرا میشه
دلیل یا دلایل این امر از چی ممکنه ناشی بشه؟
ممنون

Answer 1

سلام.
فرض میکنم از جمله ای که گفتید منظورتون این بوده که خطای ترین و تست افزایش پیدا میکنه. (اگه خطای ترین افزایش نداره ولی خطای تست افزایش داره یه بحث دیگه ای هستش به نام overfitting که دلایل مختلفی داره).
اما واگرا شدن شبکه (افزایش خطای ترین) دلایل مختلفی میتونه داشته باشه. از جمله موارد زیر:
1- مقدار learning rate بالایی انتخاب کردید. مقدار learning rate رو کاهش بدید و نتایج رو چک کنید.(همچنین میتونید از optimizer های مختلف مثل SGD و Adam استفاده کنید و نتایج رو مقایسه کنید)
2- وزنهای اولیه لایه آخر که انتخاب کردید ممکنه مناسب نباشند و احتمالا بالا هست. حتما وزنها رو رندم انتخاب کنید. ترجیحا وزنها رو از توزیع گوسی با میانگین صفر و انحراف معیار کم انتخاب کنید. (مثلا انحراف معیار 0.001) یا از روشهایی مثل xavier initialization استفاده کنید.

• اگه نتایج بهبود نداشتن میتونید فقط لایه آخر رو ترین کنید. یعنی از 15 لایه اول به عنوان feature extractor اسفاده کنید و دیگه وزنهای اون 15 لایه رو تو ترین آپدیت نکنید و فقط وزن لایه آخر رو ترین کنید.

• توی پیش پردازش ورودی اگه شبکه VGG16 که استفاده میکنید پیش پردازش خاصی داشته (مثل کم کردن از میانگین) حتما شما هم همون پیش پردازشها رو انجام بدید.

• بد نیست هنگام آموزش شبکه مقدار گرادیان نسبت به وزنهایی که دارید ترین میکنید رو مانیتور کنید. مثلا جمع مقدار گرادیانهای وزنهای لایه آخر رو. یا جمع نسبت گرادیانها به مقدار خود وزنها. اگه این مقدار به طور غیر معقولی بالا بود شبکه تون یه جاییش مشکل داره.

Comments

بسیارممنونم.
ممکنه مشکل از دیتا ست باشه؟

---

شبکه ی آماده vgg که استفاده کردید ممکنه از یه سری پیش پردازش روی دیتا استفاده کنه. باید دقیقا همون پیش پردازش رو روی دیتای خودتون داشته باشید. سایز ورودی شبکه و کم کردن از میانگین و ... رو  در صورت نیاز باید تصحیح کنید.
اگه جنس دیتاستتون خیلی متفاوت با دیتایی باشه که vggباهاش ترین شده ممکنه اثر داشته باشه. ولی بعید میدونم ایراد از این باشه.