در معماری ResNet بر حسب کاربرد لایه بهینه برای توقف و تقریب زدن تابع همانی برای لایه های بعدی انتخاب می شود یا برحسب تصاویر هر کلاس؟

Question

با سلام
ببخشید من میخوام بدونم که تو معماری ResNet لایه بهینه رو برای توقف استخراج ویزگی بیشتر در هر دیتاست به دیتاست تغییر خواهد کرد یعنی اگر یکی از معماری های ResNet را انتخاب کنیم و در دو کاربرد مختلف استفاده کنیم. ممکنه در یکیشون از لایه 20 به بعد تابع همانی نیاز باشه تقریب بزنه در یکیشون از لایه 30 به بعد؟ یا نه بسته به کاربرد نیست بلکه برحسب تصاویر آموزشی هر کلاس در یک دیتاست این لایه بهینه تغییر میکنه، یعنی مثلا اینطور هست که برای کلاس سیب لایه بهینه 20 امین لایه و برای کلاس هواپیما لایه بهینه 30 امین لایه باشه؟
خیلی ممنونم

Answer 1

سلام
یک معماری بسته به پیچیدگی مساله نیازمندی هاش متفاوت میشه .
یک دیتاست ساده تر براحتی توسط یک معماری کم عمق قابل یادگیری و هندل کردنه در حالی که یک دیتاست خیلی پیچیده تر عموما توسط دیتاست های خیلی عمیق تر نتایج خیلی بهتری دریافت کردند.
در دیتاست پیچیده تر نیاز به کشف سطوح انتزاع بیشتر و ویژگی های خیلی بیشتری هست تا بشه مفاهیم ورودی رو شناخت و دسته بندی کرد . این مساله رو در ایمیج نت میبینیم که تعداد کلاسها زیاد و خیلی متنوع هستند و اینجا معماری های عمیق خیلی بهتر از کم عمق ها کار میکنن (با پارامتر یکسان)
در رزنت هم شما بسته به مساله معماری رو کم عمق تر و یا عمیقتر انتخاب میکنید
اما اینکه در درون معماری رزنت تشخیص یک کلاس در چه سطحی دقیقا انجام میشه این مشخص نیست. یعنی نمیشه گفت کلاس سیب الان در لایه مثلا 20 ام تشخیصش کامل میشه و کلاس هواپیما مثلا در لایه 25ام. اینطوری نیست. البته اینطور میشه گفت که بعضی کلاسها خیلی ساده ترن و در لایه های پایینی ممکنه ویژگی هایی بدست بدن که براحتی بشه اونها رو شناسایی و دسته بندی کرد از طرف دیگه بعضی کلاسها هم هستن بعد از تعدادی لایه این مساله براشون ممکن میشه چون نیازمند سلسله مراتب بیشتری ازسطوح انتزاع متنوع تری هستن که باید تشکیل و بعد از اونها برای تشخیص کلاس موردنظر استفاده بشه.
برای همین میشه اینطور گفت که در یک معماری بعضی کلاسهای ساده تر زودتر به سطوح انتزاعی نهایی برای استفاده در تشخیص اونها میرسیم اما کلاسهای پیچیده تر دیرتر و در سطوح بالاتر. اگر هم بخواییم یک عمق بهینه نهایی در نظر بگیریم برای یک شبکه اون عمقی میشه که کلاسهای پیچیده رو شبکه تشخیص بتونه تشخیص بده.

Comments

ممنونم از شما
پاسخ این سوال را هم به خوبی توضیح دادید
سپاسگزارم