ثابت ماندن loss function در طول یادگیری در caffe

Question

با سلام
من میخوام که روی شبکه AlexNet یا nin فاین تیونینگ انجام بدم. اما در طول آموزش تابع loss و دقت ثابت باقی میمانند البته دقت 1 2 درصدی بالا و ‍‍‍‍پایین میره اما تباع loss همیشه ثابت باقی میمونه این هم فایل .solver:

net: "CancerClassification/CIFAR/CIFAR10/train_val.prototxt"
test_iter: 20
test_interval: 500
base_lr: 0.001
momentum: 0.9
weight_decay: 0.0001
lr_policy: "step"
gamma: 0.1
stepsize: 30000
display: 100
max_iter: 100000
snapshot: 5000
snapshot_prefix: "Cancer_nin"
solver_mode: GPU

مقدار loss روی عدد 89.3365 ثابت باقی مونده. ممنون میشم از راه حلاتون. با تشکر

Comments

سلام قبلا سوال مشابه داشتیم لطفا جستجو کنید اطلاعات زیادی اونجا ارائه شده اگر کافی نبود بگید تا راهنمایی کنیم

Answer 1

این ایراد نشان دهنده عدم یادگیری شبکه است که به طور کلی دلایل زیادی می تواند داشته باشد. از اشتباهات کوچک تا ذات مساله.
اولین مورد می تواند بالا یا پایین بودن ضریب یادگیری باشد که شما آنرا 0.0001 قرار دادید. البته اندازه دسته ها ( بچ سایز ) نیز می تواند در انتخاب این پارامتر تاثیر گذار باشد. پیشنهاد می کنم اگر بچ سایز بین 64 تا 256 انتخاب کردید. ضریب یادگیری بزرگتری بین 0.1 تا 0.001 انتخاب کنید.
ولی غیر بحث ضریب یادگیری امکان ها دیگری وجود دارد.