confidence بالا در طبقه بندی غلط cntk

Question

با سلام

من یک مدل طبقه بندی تصاویر اعداد و حروف درست کردم با cntk. این مدل دقت خیلی خوبی روی داده های تست داره ولی یک مشکل داره و اون اعلام confidence بالا در تشخیص های غلطش هست. دقیقتر بگم مثلا در 94 درصد داده ها طبقه بندی درست انجام میده و 6 درصد هم خطا داره ولی توی اون 6 درصد هم confidence بالا میده.
اون 6 درصد مربوط به تصاویری هست که کاراکتر داخلش نصفه و ناقص افتاده به طوری که برای انسان هم تشخیصش سخته. در واقع uncertainty تصاویر 6 درصد خطا، بالاست ولی باز هم confidence بالا میده.

نمیدونم این مساله کلی هست یا فقط به cntk مربوطه یا مدل؟!؟

Answer 1

سلام.
این مشکلی که شما میگید برای تولباکس نیست. من مشکل مشابهی داشتم که در مورد من عمیق کردن شبکه و استفاده از ساختارهای به روزتر این قضیه رو بهبود داد. شما میتونید از نمونه منفی هم برای یادگیری بیشتر استفاده کنید یعنی نمونه هایی که دسته بندی اونها برای شبکه سخته رو بیشتر به شبکه بدید تا ساختارشو یاد بگیره.

Comments

مرسی از پاسختون
تعداد کلاسهایی که گذاشتم فقط کلاسهای صحیح هست. یه بار برای امتحان یه کلاس از داده های پرت هم درست کردم نتیجه که نداد دقت کلی رو هم پایین آورد.
در عمیقتر کردن شبکه هم محدودیت تایم اجرا رو دارم البته اگر تاثیر بسزایی داشته باشه اعمال میکنم.

Answer 2

خوب چون کسی جواب قاطعانه به من نداد من خودم نتیجه تحقیقم رو به صورت پاسخ سوال مینویسم که اگر کسی سوال مشابه داشت، لااقل یه راهنمایی کرده باشم.
بعد از گشت و گذار بسیار، تا اینجایی که من متوجه شدم این یه ایراد کلی از علم یادگیری عمیق هست. متدهایی که مبتنی بر یادگیری عمیق هستند، نسبت به متدهای طبقه بندی قدیمی تر، دقت خیلی بالاتری دارن ولی confidence اعلام شده توسط شبکه عمیق، به اندازه confidence روشهای قدیمی تر (مثل svm) دقت نداره. برای همینه که توی یادگیری عمیق با دقت بالای 95 درصد جواب میگیریم ولی در اون 5 درصد خطا، میزان اطمینان پاسخ شبکه، به غلط، زیاد اعلام میشه.
البته این مساله دلیل ریاضی داره و اگر کسی میخواد حسابی ته و توی کار رو در بیاره میتونه به مقاله زیر ( و رفرنسهایی که داخلش معرفی کرده) مراجعه کنه.
"On Calibration of Modern Neural Networks"
این هم لینکش:
https://arxiv.org/pdf/1706.04599.pdf
چیزی که برای من مهم بود اینه که ظاهرا فریم ورکهایی مثل cntk، نسبت به این miscalibration، مقاوم نشدن و اگر کسی بخوان confidence بالا و صحیح بگیره باید در خود فریم ورک اصلاحش کنه (اگر انجام دادید به منم بدید :) )