مقایسه معماری های مختلف یادگیری عمیق

Question

با سلام
اگر بخوایم مقایسه ای بین معماری های معروف مثل alexnet , ZF net, VGG net , googlenet , resnet (اگر معماری معروف دیگه ای هم هست بی زحمت معرفی کنید) کدوم عملکرد بهتری دارند ؟
سوال دومم اینه با توجه به محدودیت ها مخصوصا محدودیتهای سخت افزاری که هست آیا امکان استفاده از تمام این معمار ی ها وجود داره ؟منظورم استفاده از شبکه به صورت پیش آموزش دیده (انتقال یادگیری)
با توجه به اینکه معماری resnet از 152 لایه استفاده کرده این سوال رو پرسیدم
با تشکر

Answer 1

سلام
معماری ZFNet که بیرون وجود نداره یه معماری خصوصی هست که هیچوقت عمومی منتشر نشده.(همون معماری ClarifaiNet هست).
معماری های ResNet و GoogleNet به مراتب از AlexNet و VGGNet بهترن. اما همونطور که جواب قبلی توضیحات خیلی خوبی دادن پیچیدگی بیشتری دارن و برای تازه کارها خیلی سخت و نامونس میتونن باشن. از طرفی اعمال تغییرات در اینها هم سخت تره.
اما معماری ها به این چندتا خلاصه نمیشن . خوب بودن یا بد بودن معماری ها الان نسبت به کارهای مختلف سنجیده میشه. مثلا SqueezeNet هست که فضای خیلی کمی رو اشغال میکنه و سربار پردازشی خیلی کمی داره و دقتش در حد و اندازه های همون AlexNet هست یا مثلا ENET وجود داره که سربار کمی داره اما تو سگمنتیشن خوب عمل میکنه .
معماری مثل Wide residual net هم هست که ResNet رو بهبود داده .اما تعداد پارامترهاش افزایش پیدا کرده. مقاله Stochastic depth هست که روی ResdNet کار کرده و کارایی اونو خیلی بهتر کرده بدون اینکه حتی یه پارامتر اضافه کنه بهش!
اخیرا هم DensNet هست که ساختار متفاوتی داره و تونسته دقت خوبی بدست بده.
معمار ی SimpleNet هم هست که state of the art سیفار ۱۰ رو چند ماه پیش زد (بعدش DensNet رکورد زد) که بینابینه اینهاست. معماری بسیار ساده ای داره تعداد پارامترهاش خیلی کمه نسبت به الکس نت یا وی جی جی نت و حتی گوگل نت و رز نت و... اما از Squeezenet بیشتره ولی دقت بالاتری هم ارایه میده .
معماری ها زیادن
خوندن این مقاله (Lets keep it simple: using simple architectures to outperform deeper architectures) میتونه خوب باشه (این draft ورژن دوم! هست ) :

Answer 2

تفاوت این معماری ها در توانایی مدل های آموزش دیده برای پیشبینی برچسب تصاویر در imagenet کاملا گزارش شده.
تفاوت دیگری که مربوط به سوال شما میشود تعداد پارامتر های شبکه است. تعداد پارامتر های بالا باعث میشود شبکه به سخت افزار قوی تری برای آموزش نیاز داشته باشد. در لینک زیر مقایسه ی خوبی بین دقت و تعداد پارامتر ها وجود دارد:
https://culurciello.github.io/tech/2016/06/04/nets.html
همانطور که عرض کردم شبکه های بزرگ نیاز به سخت افزار قوی تری برای آموزش دارند اما این لزوما به معنی عدم توانایی آموزش نیست، صرفا زمان آموزش بسیار طولانی تر میشود.
به عنوان مثال آموزش resnet 52 با استفاده از gtx 950 با 2 گیگ رم تنها با دسته های کوچک (mini-batch) با اندازه بسیار کم ( اگر اشتباه نکنم 4 یا 8 ) امکان پذیر است و عملا آموزش ممکن است چندین ماه زمان ببرد. و فکر کنم resnet 152 عملا با چنین سخت افزاری قابل آموزش نیست.
مورد دیگر در تفاوت این مدل ها پیچیدگی ساختار است. به عنوان مثال vgg و alexnet شبکه سادی تری به نسبت googlenet دارند و برای شروع کار و همچنین برخی تنظیمات از نظر فهم موضوع مناسب تر هستند.