MobileNet چیست؟

Question

سلام و وقت بخیر
و تشکر از زحمات تمامی دوستان
لطفا پیرامون معماری Mobilenet و نحوه کار آن به زبان ساده، اگر اطلاعاتی دارید در اختیار بنده قرار دهید.

باتشکر

Answer 1

سلام
موبایل نت یکی از جدیدترین معماری های این حوزه اس که دقتی در حد vgg16 ارائه میکنه با 4.5 میلیون پارامتر و 28 لایه کانولوشن . البته ورژنهای مختلفی داره که با پارامترهای الفا و فی بدست میاد. یکی برای تنظیم عرض شبکه و دیگری هم رزولوشن ورودی شبکه اس(اندازه توده ورودی چقدر باشه).
نکته جالب توجهی که این مقاله بهش پرداخته بحث depth wise seperable convolution و point wise convolution هست.
ایده هم ایده خیلی ساده و در عین حال جالبیه که البته قبلا هم پرداخته شده بود بهش اما این مقاله خیلی خوب بهش پرداخت و خروجی خیلی خوبی هم گرفت.
بطور خلاصه دراین معماری اومدن هر لایه کانولوشن رو با دو لایه کانولوشن پیاده سازی کردن. در حالت معمول یک لایه کانولوشن عمل فیلترینگ و بعد تجمیع فیچرمپها رو به تنهایی انجام میده . اینجا کاری که کردن این بوده گفتن ما اول میاییم هر فیلتر کانولوشن رو فقط روی هر فیچرمپ به تنهایی اعمال میکنیم . مثلا فرض کنید توده ورودی شما 20 فیچرمپ داره. اگه شما از کانولوشن معمولی استفاده کنید اول فیلتر روی هرکدوم از این 20تا اعمال میشه و بعد نتایج با هم تجمیع میشن و خروجی میشه یه فیچرمپ.
در اینجا لایه کانولوشن با 20تا فیچرمپ اعمال میشه . 20 تا فیچرمپ حاصل میشه(به این میگن depthwise seperable convolution یا depthwise convolution). این 20 تا از لایه Batchnormalization و relu میگذرن و بعدش توسط یک لایه کانولوشن 1x1 باهم تجمیع میشن (به این میگن poinwise convolution ).
با این کار بشدت از تعداد پارامترها کاسته میشه و از طرفی چون کانولوشن 1در1 رو میشه از طریق GEMM بصورت بهینه ای پیاده سازی کرد و باز چون 75% تمامی پارامترها در همین لایه های کانولوشن 1در1 وجود دارن تعداد عملیات محاساباتی هم بشدت کاهش پیدا میکنه .
این دوتا رو بزارید کنار هم و شما با یک معماری سبک از نظر تعداد پارامتر و محاسبات اعشاری مواجه میشید .

بحث چرایی کاهش تعداد پارامتر ها رو هم من دیگه نیاوردم چون بخوبی تو خود مقاله اومده . همون 3 4 تا رابطه اول رو ببینید مشخصه

Comments

بسیار ممنون
کاملا برام روشن شد و دلیل تعداد کاهش پارامترش رو هم متوجه شدم. مرسی
فقط این الگوریتم بهینه سازی GEMM چی هست ؟چی کار می کنه؟

---

یه  سوال دیگه . همین طور که خودتون گفتید و تو متن مقاله
"MobileNets: Efficient Convolutional Neural Networks for Mobile Vision
Applications
" هم اومده و با جدا در نظر گرفتن کانولوشن نقطه ای و کانالی این معماری 28 لایه داره .
از روی جدول شماره 1 مقاله ، نمی تونم این 28 لایه رو بشمارم . می شه توضیح بدید چه طوری شمرده که تعداد لایه ها 28 شده؟!

---

سلام. یکی از اون بلوکها در اصل نمایانگر 5 لایه اس!(5 تا کانولوشن و 5 تا هم دپس وایز) خوب دقت کنید اون رو لحاظ کنید میبینید همه چیز درسته

---

ببخشید من سوال اولتون رو ندیدم .
در مورد GEMM بطور خیلی خلاصه تو همون مقاله صحبتش شده . یک الگوریتم خیلی بهینه برای ضرب ماتریس هاست و مخفف GEneral Matrix to Matrix Multiplication هست.

---

سلام
تعداد سطرهای جدول رو هم که می شمارم 21 سطره تازه اگه یکی از سطرها رو هم معادل 10 لایه در نظر بگریم که می شه 31 . آیا بعضی از سطر ها را به عنوان لایه در نظر نمی گیرد ؟

---

سلام . بله همینطوره.
سطر 14 ام نوشته شده 5x و دوتا لایه یکی معرف depth wise و دیگری point wise در یک بلاک قرار داده شده یعنی این بلاک 5 بار تکرار میشه (5 تا دوتا لایه میشه کلا 10 لایه) .
در مقاله تعداد لایه های کانولوشن مطرح شده که اگر حساب کنید میبینید دقیقا 28 لایه به این شکل وجود داره (لایه کانولوشن )
لایه pooling و لایه fcو سافتمکس هم کلا برای دسته بندی هستند و حساب نمیشن. 31 - 3 = 28

---

همون پس ، اگر 3 لایه آخر رو در نظر نگیریم درست می شه .
بسیار ممنون