سلام
در تکمیل صحبتهای آقای حسن پور این موارد رو هم توجه داشته باشید می تونه مفید باشه
1- سوال شما یکی از بنیادی ترین سوالهایی هست که میشه پرسید و همینطور که توضیح دادن هنوز به طور جدی بازه و داره در موردش تحقیق میشه
2- در مورد ظرفیت شبکه های عمیق خیلی کارهای خوب و جالبی اتفاق افتاده، که خیلی با چیزهایی که از قبل می شناختیم مثل vc و باندهای کلاسیک متفاوته و جالبتر اینکه خیلی از مقالات جدیدتر فرضها و دستاوردهای قبلی رو رد می کنن و این دوباره نشون از همین موضوع داره که چقدر هنوز ما در اول راه هستیم
به طور خلاصه اگه به این چندتا مقاله نگاه کنید در این زمینه بیشتر اطلاعات بدست میارید:
"Understanding deep learning requires rethinking generalization"
"A Closer Look at Memorization in Deep Networks"
"Diverse neural network learns true target functions"
این مقالات واقعا مشت نمونه خرواره و واقعا تحقیقات خیلی جدی و جالبی (و هیجان انگیزی D:) از دیدگاه های مختلف در حال انجامه
برای اینکه اون بحث زمان طولانی گذاشتن برای حل مساله حل بشه، به صورت عملی داشتن یه مدل ساده برای baseline خیلی واجبه که کف دقت رو بدونید و از طرفی اگه قابل انجام باشه، حالت بهینه رو از روی دیتاست حساب کرد سقف دقت هم بدست میاد
در مورد baseline که واضحه که بحثی نیست اما منظور از بدست اوردن سقف دقت، به عنوان نمونه دیتاست mnist رو اگه در نظر بگیرید چندتا تصویر توش هست که شاید بشه گفت به هیچ وجهی نمیشه درست تشخیصشون داد و مثلا ما انتظار داریم بهترین مدل دقتش 99.98 باشه
برای دیتاست های بزرگتر نمیشه انتظار داشت کار به این راحتی باشه اما اگه شما مراحل پیشرفت کارتون به صورت چرخشی و با تحلیل نتایج و اشتباهات مدل توی هر چرخه باشه، فرایند رسیدن به جواب و مدل مورد قبولتون رو کلی سریعتر می کنید