تنظیم پارامترهای iter_size و batch_size در کفه

Question

سلام
ببخشيد من يك شبكه عصبی عمیق دارم و بعد از کلی سرچ متوجه شدم که با توجه به محدودیت جی پی یو موجودم batch_size ها رو مقدار کوچک یا در اصطلاح مینی بچ انتخاب کنم ولی مقدار iter_size را بالا ببرم به نحوه ای که حاصلضرب batch_size و iter_size جدید برابر حاصلضرب batch_size و iter_size ای باشد که در مقاله امده مثلا در مقاله من بچ سایز برابر ۵۰ و iter_sizr برابر ۲ بود من در مدل خود بچ سایز را برابر ۵ قراردادم و ایتر سایز را برابر ۲۰
ولی متاسفانه دقت به دست امده با حالتی که که من فقط بچ سایز را تغییر میدهم و ایتر سایز به حالت خودش باقی می ماند بدتر شده؟
این به معنی هست در حالت دوم شبکه در مینیمم محلی گیر افتاده؟
برای رفع این مشکل کدام روش بهتره؟
سپاسگزارم

Comments

سلام. با تغییر بچ سایز و ایترسایز (رسیدن به یک بچ موثر یکسان) نباید تغییری مشاهده کنید. سایر پارامترها رو تغییر ندادید ؟‌
سعی کنید تست روغیرفعال کنید و با بچ سایز بیشتر تست کنید و لاس رو چک کنید . (و بعد با ایترسایز همون بچ سایز رو چک کنید. لاس تغییر میکنه اما از یک حد خاصی نباید بیشتر باشه )