افزایش loss تست پس از کاهش آن و ثابت ماندن دقت

Question

سلام
من یه سوال در مورد دقت تست یا همون دقت ولیدیشن داشتم.
موقع فاین تیون روی دیتاست خودم و با استفاده از معماری LENET، لاس تست و لاس ترین تدریجا کم و کمتر میشه و به جایی میرسه که دقت به 66 درصد و لاس تست به 2.54 و لاس ترین 0.0016 میرسه. اما بعد از اینکه به این دقت رسید، لاس ترین با وجود اینکه بازم کم میشه، اما لاس تست شروع میکنه به افزایش یافتن و در نتیجه دقت یا عوض نمیشه یا اگرم بشه خیلی جزئی بالا و پایین میشه.
میخواستم بدونم این مساله اورفیت شدن هست یا اندرفیت. و راهکارش چیه.
سالور من :

test_iter: 175
test_interval: 650
base_lr: 0.001
momentum: 0.9
weight_decay: 0.0005
lr_policy: "inv"
gamma: 0.1
power: 0.75
display: 100
max_iter: 39000

داده های من هم 6500 نمونه ترین با بچ سایز 10 هستند و 700 نمونه تست با بچ سایز4. از مین فایل هم استفاده کردم.

Answer 1

سلام
اورفیت میکنه شبکه شما.
رگیولایزر رو بیشتر کنید .
میتونید دیتا رو هم بیشتر کنید
میتونید داده رو زیرو سنتر و نرمالایز کنید تا همگرایی بهتر و سریعتر بشه
میتونید از یه شبکه جدیدتر و بزرگتر هم استفاده کنید تا نتیجه بهتری بگیرید . (وقتی از شکبه بزرگتر استفاده میکنید که پارامترهاش بیشتره باید با تنظیم دقیقتر رگیولایزرتون و استفاده از دراپ اوت اورفیتینگ رو کنترل کنید. )

برای تشخیص اینکه اورفیت میکنه شبکه یا اندرفیت دقت کنید که در اورفیت لاس ترینینگ خیلی کم میشه اما لاس تست ثابت یا افزایش پیدا میکنه .
در اندرفیت چون شبکه قدرت پردازشی کافی رو نداره حتی لاس ترینینگ هم کاهش پیدا نمیکنه .

Comments

خیلی ممنونم از پاسخ شما
من نمیدونم زیروسنتر یعنی چی؟ میشه بفرمایید چی کار باید کرد؟
نرمالایز هم کردم. روی ی شبکه بزرگتر رفتم و دقت به 96 رسید اما از 96 به   بعد باز اورفیت شد. بعد از لایه های تماما متصل هم دراپ اوت رو داشتم از اول.
پارامتر weight_decay فک میکنم همون رگیولایزر باشه که شما میگید. درسته؟ وقتی بیشترش میکنم خیلی لاس افزایش پیدا میکنه. همینطور وقتی کمش میکنم. گویا نباید اینو تغییر بدم

---

سلام . من یه نمونه کد که قبلا نوشتم برای zero center کردن و نرمالایز کردن دیتاست سیفار10 تو gist من هست همونو چک کنید و برای دیتاست خودتون استفاده کنید. توضیحاتش تو کورس نوت دانشگاه استنفورد هم هست که بخونید خوبه. بطور ساده همون میانگین گیری و تقسیم بر اون و انحراف معیار هست.
بله ویت دیکی یه رگیولایزر هست اینو باید دقیق ست کنید. مقدار زیادی اگه ست کنید باعث اندرفیت شبکه میشه و اگه خیلی کم ستش کنید باعث اورفیت میشه. این در کنار دراپ اوت خیلی مفیده.  
برای ست کردن مقدارش سعی کنید اول با ضریب 10 کم و زیادش کنید. بعد که به یه رنج مناسب رسیدید میتونید بیشتر دقیق بشید و تو اون رنج عددای مختلف رو تست کنید ببینید کدوم بهتره . یادتون باشه موقع این تنظیمات به بقیه چیزها دست نزنید تا تاثیر یک پارامتر رو بتونید متوجه بشید.
ضمنا تستهاتون رو چند بار تکرار کنید تا دقیقا بدونید حد بالا حد پایین و حد متوسط دقتتون چقدره . به یک بار بسنده نکنید . ممکنه تنظیماتتون خوب باشه اما استارت بدی خورده باشه و به اون دقت خیلی خوب نرسیده باشید. بسته به تنظیمات معمولا بین 0.2 تا 0.7 درصد میتونید انتظار تغییرات رو داشته باشید.

---

سلام.
ببخشید من این کدی که میگید رو پیدا نمیکنم. توی کدوم بخشه؟ اگه ممکنه لینکش رو قرار بدید ممنون میشم.
بابت توضیحات کاملتون ممنونم

---

سلام . https://gist.github.com/Coderx7