کدام یک از مدل‌های زیر با توجه به مقادیر تابع loss یا مقدار دقت، مدل بهتری هست.

Question

در تصویر زیر با چهار مدل روبرو هستیم که مقادیر loss, acc, val_loss, val_acc متفاوتی دارند کدام مدل، مدل بهتری هست. اونیکه مقدار تابع loss کمینه داره یا اونیکه مقدار val_acc بیشینه داره؟

بنظر اونیکه loss کمینه داره باید بهتر بیاد چون شاید بعدا با مواجه با نمونه‌های دیده نشده، بهتر عمل کنه ولی بنظرم اون مدلی که val_acc بیشینه هم داره شاید خوب باشه ولی نمی‌تونم استدلالی برای بهتر بودن در مقایسه با قبلی پیدا کنم.

در مجموع چه معیارهایی برای ارزیابی مدل‌های طبقه‌بندی یا تشخیص شی در نظر گرفته می‌شود.

Answer 1

بستگی به معیار نهایی داره که میخواید بر اساس اون کارتون رو مقایسه کنید. مثلا اگر میخواید با همین accuracy مقایسه کنید بهتره مدل با بالاترین دقت رو امتحان کنید. اما اگر از معیار نهایی دیگه ای مثب auc یا f1 یا هر چیز دیگه ای استفاده می کنید باید با اون روی دیتاست ولیدیشن امتحان کنید و بهترین رو انتخاب کنید.

Comments

لطف می‌کنید در مورد auc و f1 بیشتر توضیح بدید.

---

این ها همه معیارهایی برای ارزیابی عملکرد کلاسیفایرها هستند. برای اشنایی با معیار F1 و فرمولهاش ادرس صفحه ویکیپدیا رو گذاشتم.
https://fa.wikipedia.org/wiki/%D8%A7%D9%85%D8%AA%DB%8C%D8%A7%D8%B2_%D8%A7%D9%81_%DB%B1
معیار AUC بیشتر برای طبقه بندی کننده های دو کلاسه کاربرد داره. AUC مخفف area under the curve هست و اگر نمودار ROC رو بکشید میتونید حساب کنید. در واقع تفکیک بین دو کلاس رو نشون میده و هر چه به یک نزدیک تر باشه بهتره و مقدار 0.5 یعنی این که تفکیکی بین دو کلاس نداره.
این ادرس ها میتونن مفید باشن.
https://stats.stackexchange.com/questions/210700/how-to-choose-between-roc-auc-and-f1-score
http://www.site.uottawa.ca/~stan/csi7162/presentations/William-presentation.pdf
https://gerardnico.com/wiki/data_mining/roc
در مورد جواب قبلی هم یه نمونه بیارم. من روی بازشناسی حرکت انسان کار میکنم و معیار اونجا همین accuracy هست. من تست کردم وزنی که val-acc بالاتری داره بهتر عمل میکنه تا شبکه ای که val-loss پایین تری داره در معیار نهایی اما در مساله های مربوط به detection همیشه این درست نیست.