ثابت ماندن loss هنگام آموزش شبکه

Question

با عرض سلام و خسته نباشید
من داده هام رو روی شبکه alexnet آموزش دادم اما loss تغییر چندانی نمیکنه و کم نمیشه . مشخصات solver به صورت زیر تنظیم کردم :
چون تعداد تصاویر آموزشم 661 تصویر بود ، بچ سایز مرحله ی آموزش و 60 گرفتم تا بعد از 110 تکرار حدودا 10 ایپاک تکرار شده باشه .
همانطور که آقای حسن پور توی سایت گفتن ، حاصلضرب عدد بچ در مرحله ی تست و عدد test_iter باید برابر با تعداد تصاویر تست باشه ، برای همین بچ سایز در مرحله ی تست رو 8 و تعداد itest_iter را 28 گرفتم چون 224 تصویر تست داشتم .
base-lr ابتدا 0.01 بود اما چون loss زیاد کم نمیشد روی 0.001 گذاشتم و به همین خاطر مقدار momentum=099 انتخاب کردم . اما باز هم loss از 2 کمتر نمیشه و دقت هم حداکثر 0.098 میشه . ممنون میشم راهنماییم کنین.
این مربوط به آموزش شبکه از اول بود . اگه finetune کنم و فقط لایه ی آخر trainبشه اول loss کم میشه اما بعد از 10 تکرار زیاد میشه و به nan میرسه

فایل solver :

net: "/home/amir/Develop/caffe/models/my_corel_caffenet/train_val.prototxt"
test_iter: 28
test_interval: 110
base_lr: 0.01
lr_policy: "step"
gamma: 0.1
stepsize: 100000
display: 1
max_iter: 115
momentum: 0.9
weight_decay: 0.0005
snapshot: 100
snapshot_prefix: "/home/amir/Develop/caffe/models/my_corel_caffenet/caffenet_train"
solver_mode: CPU

Comments

سلام . موقع فاین تونینگ اولا به غیر از لایه اخر بقیه لایه ها رو فریز کنید مگه اینکه دیتای فعلی با دیتایی که قبلا مدل اموزش دیده خیلی متفاوت باشه و در این صورت باید دیتای شما هم یه حد خاصی باشه چون بسته به میزان تفاوت لایه های بیشتری باید تغییر کنن و تنظیم بشن .
ضمنا نرخ یادگیری شما باید خیلی کمتر باشه همینطور سعی کنید weight decay رو هم چک کنید که مبادا مقدار بالای ریگولاریزیشن باعث اندرفیتینگ شبکه نشه.

---

سلام . من موقع فاین تیونینگ اسم لایه ی آخر و تغییر دادم و اسم بقیه ی لایه ها رو بدون تغییر گذاشتم منظورتون همینه از فریز ؟
کار weight decay  چی هست و باید چند باشه حدودا تا خراب نشه ؟؟
ممنون

---

سلام. آقا محسن یکسری توضیحات دادن. من پیشنهاد میکنم شما بخش فاین تونینگ رو (یکباردیگه) ببینید. باز اگه مشکلی بود بفرمایید. weight decay یه پارامتر regularization هست که برای جلوگیری از اورفیتینگ استفاده میشه. این مقدار باید متناسب با تعداد پارامترها و دیتای شما تنظیم بشه. در حالت عالی مقدار زیاد باعث اندرفیت شدن شبکه و مقدار کم یا نبود اون ممکنه باعث ایجاد اورفیت بشه.

---

سلام خیلی ممنون من دوباره فاین تیون کردم و loss کم شد اما وقتی واسه classification تصویر ورودی و میدم هر 5 کلاس امتیاز مساوی دارن

---

برچسب های نمونه ها رو با فرمت درست وارد کردین؟

---

بله درست شد .ممنون

Answer 1

سلام منظور آقا حسین صفر کردن نرخ یادگیری لایه های دیگه هستش.
نرخ یادگیری رو کمتر کنید. ترجیحا ابتدا تمام لایه های کانولوشن رو فریز کنید و تنها امکان یادگیری به لایه های تمام متصل بدین. weight decay جلوی افزایش بیش از اندازه وزنهای شبکه رو میگیره و در مواقع finetune پارامتر اساسی و حیاتی ای محسوب می شه.
در مورد آموزش از ابتدا: با تعداد نمونه های شما امکان پذیر نیستش