به بخش پرسش و پاسخ یادگیری عمیق خوش آمدید,
این نسخه آزمایشی سایت است.
لطفا به نکات زیر توجه کنید:
  • برای ارتباط با مدیران میتوانید از صفحه مدیران اقدام کنید.
  • سوال و جواب ها باید به زبان فارسی باشند. استفاده از زبان انگلیسی یا فینگلیش برای پاسخ دادن مجاز نیست.
  • لطفا بعد از پرسش سوال لینک سوال خود را در گرو تلگرام (Iran Deep Learning Group) معرفی کنید تا سریعتر به جواب برسید. برای دسترسی به آخرین لینک از منابع یادگیری استفاده کنید
  • لطفا بجای عکس از متن استفاده کنید. اگر متون طولانی هستند از سایت pastebin.com برای اپلود استفاده کرده و لینک حاصل را در سوال خود قرار دهید. برای قرار دادن تصویر ، از بخش ارسال تصویر ادیتور سایت استفاده کنید.
  • بعد از دریافت پاسخ، بهترین پاسخ را از طریق کلیک بر روی علامت تیک انتخاب کنید
  • اگر با خطا و یا مشکلی مواجه شدید از بخش تماس با ما در انتهای صفحه و یا ایمیل Coderx7@gmail.com موضوع را اطلاع دهید.

با تشکر

0 امتیاز

سلام
من یه سوال در مورد دقت تست یا همون دقت ولیدیشن داشتم.
موقع فاین تیون روی دیتاست خودم و با استفاده از معماری LENET، لاس تست و لاس ترین تدریجا کم و کمتر میشه و به جایی میرسه که دقت به 66 درصد و لاس تست به 2.54 و لاس ترین 0.0016 میرسه. اما بعد از اینکه به این دقت رسید، لاس ترین با وجود اینکه بازم کم میشه، اما لاس تست شروع میکنه به افزایش یافتن و در نتیجه دقت یا عوض نمیشه یا اگرم بشه خیلی جزئی بالا و پایین میشه.
میخواستم بدونم این مساله اورفیت شدن هست یا اندرفیت. و راهکارش چیه.
سالور من :

test_iter: 175
test_interval: 650
base_lr: 0.001
momentum: 0.9
weight_decay: 0.0005
lr_policy: "inv"
gamma: 0.1
power: 0.75
display: 100
max_iter: 39000

داده های من هم 6500 نمونه ترین با بچ سایز 10 هستند و 700 نمونه تست با بچ سایز4. از مین فایل هم استفاده کردم.

سوال شده توسط (150 امتیاز)

1 پاسخ

+1 امتیاز
 
بهترین پاسخ

سلام
اورفیت میکنه شبکه شما.
رگیولایزر رو بیشتر کنید .
میتونید دیتا رو هم بیشتر کنید
میتونید داده رو زیرو سنتر و نرمالایز کنید تا همگرایی بهتر و سریعتر بشه
میتونید از یه شبکه جدیدتر و بزرگتر هم استفاده کنید تا نتیجه بهتری بگیرید . (وقتی از شکبه بزرگتر استفاده میکنید که پارامترهاش بیشتره باید با تنظیم دقیقتر رگیولایزرتون و استفاده از دراپ اوت اورفیتینگ رو کنترل کنید. )

برای تشخیص اینکه اورفیت میکنه شبکه یا اندرفیت دقت کنید که در اورفیت لاس ترینینگ خیلی کم میشه اما لاس تست ثابت یا افزایش پیدا میکنه .
در اندرفیت چون شبکه قدرت پردازشی کافی رو نداره حتی لاس ترینینگ هم کاهش پیدا نمیکنه .

پاسخ داده شده توسط (4.3k امتیاز)
انتخاب شده توسط
سلام . من یه نمونه کد که قبلا نوشتم برای zero center کردن و نرمالایز کردن دیتاست سیفار10 تو gist من هست همونو چک کنید و برای دیتاست خودتون استفاده کنید. توضیحاتش تو کورس نوت دانشگاه استنفورد هم هست که بخونید خوبه. بطور ساده همون میانگین گیری و تقسیم بر اون و انحراف معیار هست.
بله ویت دیکی یه رگیولایزر هست اینو باید دقیق ست کنید. مقدار زیادی اگه ست کنید باعث اندرفیت شبکه میشه و اگه خیلی کم ستش کنید باعث اورفیت میشه. این در کنار دراپ اوت خیلی مفیده.  
برای ست کردن مقدارش سعی کنید اول با ضریب 10 کم و زیادش کنید. بعد که به یه رنج مناسب رسیدید میتونید بیشتر دقیق بشید و تو اون رنج عددای مختلف رو تست کنید ببینید کدوم بهتره . یادتون باشه موقع این تنظیمات به بقیه چیزها دست نزنید تا تاثیر یک پارامتر رو بتونید متوجه بشید.
ضمنا تستهاتون رو چند بار تکرار کنید تا دقیقا بدونید حد بالا حد پایین و حد متوسط دقتتون چقدره . به یک بار بسنده نکنید . ممکنه تنظیماتتون خوب باشه اما استارت بدی خورده باشه و به اون دقت خیلی خوب نرسیده باشید. بسته به تنظیمات معمولا بین 0.2 تا 0.7 درصد میتونید انتظار تغییرات رو داشته باشید.
سلام.
ببخشید من این کدی که میگید رو پیدا نمیکنم. توی کدوم بخشه؟ اگه ممکنه لینکش رو قرار بدید ممنون میشم.
بابت توضیحات کاملتون ممنونم
...