ترین شبکه عمیق برای یک تسک خاص از scratch

Question

سلام
دوستان فرضا من نوعی که میام رو human detection کار میکنم پس برای چی از مدل های آموزش دیده استفاده بکنم ؟ بنظر شما بهتر نیست یک شبکه کوچک و lightweight در نظر بگیرم ولی بیام بجای فاین تیون مدل آموزش دیده روی امیج نت ، بیای از scratch شبکه سبک رو دیتای human آموزش بدم این بهتر نیست ؟ یعنی شبکه تمرکز اصلیش روی این تسک باشه
و این هم برای من جای سواله درسته که استفاده از مدل های آموزش دیده زمان ترین یک شبکه رو کم میکنید ولی فرضا شبکه ایی مثله VGG که اومده روی 1000 کلاس با 1.2 میلیون عکس آموزش دیده در واقع این شبکه گنجایش یادگیری فیچرهای این 1000 کلاس رو دارد بنظر کار خوبی نیست این مدل رو که گنجایش یادگیری 1000 کلاسی رو دارد بیاییم روی فرضا 2 کلاسه مثله human بکار ببریم
میشه یک شبکه سبک رو طراحی کرد که فرضا برای human ترین بشه و فقط ویژگی های اینها رو خوب یاد بگیره

Answer 1

من پاسخی که بهتون می دم در مورد قسمت دوم سوال هستش. قطعا شبکه های سبک وجود دارند و لازم نیست حتما مدل های معروف رو استفاده کنید. برای مثال شما خودتو می تونید 4 تا لایه ی same convolution بزنید بعد یک مکس پولینگ و بعد چندتا valid convolution بعد اسم MinimaxNet یا حتا alphabetaNet رو روش بذارید! برای طراحی شبکه های دیپ تجربه ای که خودم با کد زدن و مطالعه سایر پیپرها کسب کردم اینه که اجازه بدید خود داده ها براتون حرف بزنن. برای مثال عرض می کنم؛ تصور کنید برای همین کار خودتون یه سری داده دارید و نمی دونید که کافی هست یا نه، از طرفی نمی دونید چه مدلی استفاده کنید و خودتون از اول می خواهید همه چی رو بزنید. به این کاری که خواهم گفت dirty coding در ماشین لرنینگ گفته می شه. بیاید با کراس سه چهار تا لایه کانولوشن same بزارید بعد یک مکس پولینگ بعد دو سه تا کانولوشن valid بعد یک لایه فلتن بعد دو لایه دنس. این یه مدل پایه ی نسبتا سبک بهتون می ده. حالا چیزی که هست اینو اجازه بدید ترین شه تا حد ممکن. داده های ترین و تست رو با هم مقایسه کنید. با مقایسه ی این دوتا می تونید بفهمید مشکل high bias یا high variance یا شاید هر دو رو دارید. بعد با توجه به هر کدوم راهکار مربوط به خودش رو دنبال کنید. این جوری به تدریج مدل مناسب برای تسکتون بدست می آد. منتها نکته ای که هست اینه که معماری جدیدی ارایه نکردید. فقط یه تسکی رو با دیپ، مدل سازی کردید. در مورد قسمت اول سوال هم فکر کنم تو کامنت سوال قبل پاسخ براتون قرار دادم.