overfitting در شبکه های CNN

Question

سلام ببخشید این سوال من خیلی کلی هستش. چگونه می توان متوجه شد که یک شبکه CNN دچار overfitting شده است و برای حل آن بهتر است از کدام روشها استفاده شود.ر زمانی که یک ساختار شبکه آماده رو fine tuning میکنیم باز امکان over fitting وجود دارد؟
معیاری وجود دارد که تعداد داده های آموزشی مناسب برای یک شبکه Cnn را مشخص کند؟

Answer 1

سلام
تو مراحل آموزش وقتی داده ی ولیدیشن شما بهبود پیدا نکنه و یا کم بشه ولی صحت دیتای آموزش بهبود پیدا کنه یعنی احتمال زیاد شما overfit دارید میشید مثلا صحت ترین = 99 شده ولی صحت ولیدیشن 70 مونده

راه هاش
1- دیتا رو زیاد کنید بسته به مسئله و مدل داره ولی گویا مدل هایی که موجود هستن انقدر پارامتر دارن که باید یک میلیونی عکس بدی (من خودم با 200000تا تصویر overfit میشم بعد از 3 epoch)
2- drop out بعد لایه های conv
3- regularization l2 (من تو لایه FC تست کردم خوب بود)
4- data augmentation یعنی بیای تصاویری که داری رو عوض کنی هر دفعه که داری میدی به شبکه و اینجوری شبکه یک چیزو یاد نمیگیره و سخت میکنی overfit شدن رو براش) مثلا چرخوندن تصویر و چپ و راست کردنش و ...

Comments

بسیار ممنونم از راهنماییتون