انتقال یادگیری در resnet

Question

با عرض سلام و احترام و خسته نباشید
با توجه به اینکه معماری resnet دارای 152 لایه میباشد آیا برای استفاده از شبکه از پیش ترین شده آن مستلزم استفاده از سیستمهای با سخت افزار بسیار قوی میباشد یا خیر ؟

Answer 1

شبکه ResNet برخلاف چیزی که به نظر میرسد تعداد پارامتر خیلی کمتر و درنتیجه تعداد عملیات کمتر نسبت به شبکه هایی مثل VGG یا Inception دارد. گرچه تعداد لایه ها در ResNet چندین برابر سایر شبکه ها هست اما ساده تر بودن لایه های کانولوشن این شبکه باعث می شود تا پیچیدگی محاسباتی کمتری داشته باشد. توجه کنید که تاثیر تعداد لایه ها در پیچیدگی محاسباتی یک شبکه ResNet به شکل خطی است و اگر تعداد لایه ها k برابر شود پیچیدگی محاسباتی شبکه هم k برابر خواهد شد. بنابرین تعداد زیاد لایه های این شبکه باعث نمی شود تا از نظر محاسباتی نامعقول باشد.

البته در هرصورت برای استفاده از چنین شبکه های عمیقی باید از GPU استفاده کنید. تست کردن یک نمونه ساده روی شبکه های عمیقی مثل Inception یا Resnet 152 در CPU ممکن هست حتی چند ده ثانیه زمان ببرد.

Comments

ممنون از لطفتون
دوتا سوال پیش اومد برام
اول اینکه در مقایسه معماری های معروف آیا میتونیم resnet رو بهترین معماری معرفی کنیم یا معماری با بهترین عملکرد معرفی کنیم ؟( حداقل در قیاس با googlenet و vggnet )
سوال دومم راجب شبکه inceptin هستش تا حالا نشنیده بودم میشه یکم در موردش تو ضیح بدید ؟
ممنون با تشکر فراوان

---

این معماری در سال ۲۰۱۵ (اگر اشتباه نکنم!) چند مسابقه را برنده شد (پس درقیاس با vgg و alexnet و سایر شبکه های رایج گذشته برتر هست) اما درحال حاظر معماری هایی بوجود آمدند که دقت بهتری حتی ارائه می کنند پس نمیشه گفت بهترین معماری موجود میتونه باشه.
درمورد inception هم پاسخ آقای حسن پور در این سوال خیلی خوب و کامل هست میتونید مطالعه کنید: http://qa.deeplearning.ir/1173/%D8%AA%D9%88-%D8%B6%DB%8C%D8%AD%D8%A7%D8%AA-%D8%AF%D8%B1-%D9%85%D9%88%D8%B1%D8%AF-inception-module?show=1173#q1173