مشکلی شبیه به overfit

Question

باسلام
بنده قصد دارم داده های شبکیه چشم kaggle رو در 5 کلاس طبقه بندی کنم. با توجه به نرمال نبودن تعداد داده ها از هر کلاس 700 تصویر انتخاب کردم. که 560 تصویر از هر کلاس رو برای آموزش در نظر گرفتم. شبکه انتخابی resnet هست و در colab کار می کنم. از real time Augmentation هم استفاده می کنم. مشکل اینه که در آموزش دقت زیاد میشه و خطا کم اما در ارزیابی دقت از حدود 30% بیشتر نمیشه و خطا هم از یه جایی به بعد کم نمیشه با توجه به این شرایط callbackها آموزش رو متوقف می کنند. مشکل ایجاد شده شبیه به overfit هست اما راه حلی براش پیدا نکردم.

Answer 1

سلام
به نظرم در کل تعداد دادتون کمه و نسبت ولیدیشن به ترین هم زیاده
البته این نظر منه و الزاما صحیح نیس
نرمال نبودن تعداد داده راه های دیگری هم برای جبران داره دادهاتون رو کم نکنید

Comments

تعداد داده هایی که در اختیار دارم اینهاست:
کلاس اول (شبکیه های چشم سالم)      = 25807
کلاس دوم (بیمار رتینوپاتی سطح 1)     =2442
کلاس سوم (بیمار رتینوپاتی سطح 2)    =5291
کلاس چهارم (بیمار رتینوپاتی سطح 3)  =874
کلاس پنجم (بیمار رتینوپاتی سطح 4)   = 708

چه راهی برای جبران میشناسید
من از Augmentation استفاده کردم

---

سرچ کنید راه حلهاش میاد
مثلا این دوتا لینک رو نگاه کنید(البته با  گذر از تحریم هایی مثل شکن shecan.ir)

https://towardsdatascience.com/handling-imbalanced-datasets-in-deep-learning-f48407a0e758

https://machinelearningmastery.com/tactics-to-combat-imbalanced-classes-in-your-machine-learning-dataset/