عدم همگرایی، کم شدن loss و عدم تغییر Acc

Question

سلام
یه دیتا دو کلاسه دارم هرچی مدل رو عوض میکنم loss کم میشه ولی ACC هیچ تغییری نمیکنه بین 48 - 53 نوسان میکنه
علت چی میتونه باشه ؟
LR های متفاوت هم تست کردم فرقی نکرد, optimizer هم nadam هست.
با تشکر

Answer 1

سلام
چندتا نکته رو تست کنید لطفا:

1 - توزیع کلاسها چطوریه؟ یعنی مثلا 50 50 تقسیم شده و اگه رندوم کار کنیم، دقت باید 50 بشه؟

2 - دیتاها چقدر از نظر خودتون سخته؟ به عبارت دیگه، اگه با فرض که دیتا ها نصف نصف باشه و بدین به یه آدم، چقدر انتظار دارید از رندوم بهتر کار کنه؟

3 - یه سیستم ساده تر مثل SVM که به اندازه کافی روی hyperparameter هاش مثل C کار کردید چقدر دقت بهتون داده؟

4 - شبکه تون روی training set به دقت نزدیک 100 درصد میرسه؟ کلا دقتتون روی training چقدر میشه؟
اگه روی training هم شبکه نمی تونه دقت بالایی بگیره احتمالش هست ظرفیت شبکه تون کم باشه
حالا یا اینکه شبکه کلا کوچیکه، یا کم train شده یا اینکه خیلی از regularization هایی مثل dropout و l2 و از این جور چیزا استفاده کردید

Comments

سلام
1- توزیع 50 50 هست و جواب سخته حدود 60-70 باید بتونه بگه
2-تصویره دیتا نمیشه با چیز دیگه تست کرد
3- نه ترین کلا بین 40- 50 نوسان میکنه بعد روی 49 - 51 نوسان میکنه تا آخر
4- لایه های conv رو بیشتر کنم یا dense تا قوی تر بشه ؟ conv به نظرم vgg به اندازه کافی بزرگ هست

---

در مورد چیزی مثل svm نه اینکه مستقیم خوده تصویر رو بدید، مثلا یه feature شبیه sift یا haar ازش در بیارید و بدید به classifier های دیگه. اون بنده خدا ها هم با تصویر کار می کردن D:

الان که دقت training هم در حد رندومه کلا فعلا نباید نگران سختی مساله بود و اول باید خوده ساختار درست شه. چون حداقل تا این حد باید بدونیم که اگه به شبکه داده رندوم هم بدیم و ظرفیتش به اندازه کافی باشه باید بتونه همش رو حفظ بکنه و دقت training خیلی بالا بشه.
برای این کار اولا اینکه به جا vgg یه چیزی شبیه ResNet 50 یا 101 استفاده کنید، خوده این ممکنه کار رو بهتر کنه و ساختار vgg ضعف زیاد داره.
وقتی دیدید که دقت بهتر شد اینقدر training رو ادامه بدید یا ظرفیت رو بیشتر کنید تا دقت آموزش برسه به نزدیک 100 بعد با regularization کنترلش کنید

---

این نکته ای هم که دوستمون گفته می تونه خیلی تاثیر بذاره راستی و اینه که داده ها رو نرمال کرده باشید حداقل، اگه پیش پردازش دیگه هم انجام نمی دید.
خوده ResNet استفاده کنید لایه های batch normalization یکم این قضیه رو هندل می کنن اما بهتره خودتون هم داده های ورودی رو نرمال کنید

Answer 2

سلام
با توجه به اینکه داده‌ها 50-50 هست و صحت مدل هم در همین حدود هست، عملا مدل شما آموزش ندیده.
چند نکته که به ذهنم میرسه
1. شاید یه پیش‌پردازش مناسب کمک خوبی برای تمایز قائل شدن بین کلاس‌ها ایجاد کنه.
2. ظرفیت مدل، مناسب برای اینکار نیست (لزوما این نیست که مدل کوچک باشه، شاید مدل بزرگ باشه).
3. استفاده مناسب از regularization می‌تونه کمک کننده باشه.

Comments

سلام
1- روی تصویر چه پیش پردازشی رو پیشنهاد میدین؟
2-در چه زمانی مدل بزرگ میتونه جلوی رشد صحت شبکه رو بگیره ؟