regulizer چیست؟

Question

با سلام و وقت بخیرخدمت دوستان
1-regulizer چه چی هست و چرا به کار میره، برای جلوگیری از اورفیت بکار میره؟
2-در یک کار تحقیقاتی چطوری ثابت کنیم که شبکه ما به خوبی کار میکنه و اورفیت نکرده؟ استفاده از کراس ولیدیشن مثل hold out c.v کافی هست؟
ممنون

Answer 1

سلام.
1- رگولارایزر عموما مفهوم گسترده تری تو بهینه سازی و توابع هزینه داره و فقط مختص شبکه عصبی نیست. ولی اگه منظورتون اضافه کردن یک ضریبی از نرم یک یا دو وزنها به تابع هزینه تو شبکه عصبی هستش در این صورت برای جلوگیری از overfitting کاربرد داره. در واقع وزنها رو فورس میکنه که خیلی مقدار بالایی نداشته باشن. وقتی وزنها فورس میشن که مقادیر زیادی رو نگیرن باعث میشه شبکه آزادانه و فقط بر اساس خروجی مطلوب دیتای ترین آموزش نبینه. مثلا وقتی تعداد دیتای کمی دارید و تعداد وزنهای زیادی دارید شبکه بدون رگولارایزر وزنها رو طوری آپدیت میکنه که بعضی از وزنها خیلی بزرگ انتخاب میشن تا خطای آموزش کم بشه.
2- نمودار خطا بر حسب iteration رو رسم کنید. محور عمودی خطا باشه و محور افقی شماره iteration باشه. خطای تست و ترین جفتشون باید کاهش داشته باشن و نمودارشون نزولی باشه. اگه بعد از چند iteration خطای آموزش کماکان در حال کاهش ولی خطای تست در حال افزایش باشه یعنی شبکه over-fit کرده.

Comments

سلام
ممنون بابت پاسختون فقط در قسمت دوم یه اصلاحیه شاید نیاز باشه که در شبکه ‌های عمیق خیلی وقتها اینطوری نیست که خطا رو validation شروع به افزایش کنه و چیزی که در عمل اتفاق می افته اینه که خطای train و validation تقریبا ثابت میشه(مقالاتی مثل ResNet و کلا کارهای آقای He رو ببنید خیلی رو این موضوعات بحث کردن)
چیزی که اینجا نشون دهنده overfitting ه، بزرگ بودن gap بین خطای validation و training ه