عدم کاهش بی رویه تعداد feature map ها با bottleneck در googlenet-v3 به چه صورت است؟

Question

با سلام
اینکه در ورژن 3 google-net گفته میشه با bottleneck تعداد feature map ها رو خیلی کوچیک نکنیم چون دقت پایین میاد، چطور این کار رو کنیم؟ مثلاً ایده بینابینی bottleneck با conv1*1 و group convolution رو استفاده کنیم که conv1*1 به دسته هایی از کانال ها اعمال کنیم؟

Comments

سلام. میشه اینم بازتر کنید؟ سوال خیلی گنگه. در بحث باتل نک منظور اینه که تعداد فیجرمپ ها رو خیلی زیاد یکدفعه کاهش ندید مثلا اگر قبلش 200 تا فیچرمپ دارید در باتل نک یکدفعه نکنید 10 تا . بطور ملایم پیش برید. برای بحث بعدی هم متوجه نشدم یعنی چی . لطفا بیشتر توضیح بدید

---

سلام
خب دقیقا سوال دوم من فک کنم با همین پاسخ شما اگه بیشتر روشن بشه جواب داده میشه.
من تا الان در مورد باتل نک تصورم بر این بود که یک کانولوشن 1*1 است که در واقع یک عدد اسکالر است بجای یک فیلتر دو بعدی اعمال میشه به همه کانال ها یا فیچرمپ های قبلی این عدد یعنی ضرب میشه و سپس جمع میشن همه شون با هم و نتیجه یک فیچرمپ میشه ولی خب الان شما میفرمایید تدریجی کم کنید تعداد فیچرمپ ها رو این یعنی چی اگر باتل نک همون چیزی هست که من متوجه شدم پس باید بیاییم مثل گروپ کانولوشن ابتدا فیچرمپها رو به تعدادی دسته معین مثلا 50 تا در این مثال تقسیم کنیم و سپس 50 فیلتر کانولوشن 1*1 در نظر بگیریم و هر فیلتر به یک دسته فیچرمپ اعمال بشن و نتایج اون دسته با هم جمع بشن و ما نهایتا با باتل نک اول 200 تا رو به 50 تا کاهش بدیم؟

---

سلام. بحثها رو قاطی نکنید. ما روشهای مختلفی برای کاهش سربار داریم. هرکدومشون هم اصطلاحا یک implicationیی دارن برای خودشون . در بحث اینکه وقتی از تکنیک باتل نک قراره استفاده کنید نکته اینه که تعداد فیلترهای 1در1 شما که روی ورودی قراره اعمال بشه خیلی کوچکتر از ورودی نباشه. مثلا ورودی شما200 فیچرمپ هست. ما بعدش میخواییم از 256 فیلتر 3در3 استفاده کنیم . اینجا برای اینکه سربار رو کاهش بدیم میاییم یک فیلتر 1در1 استفاده میکنیم. خب چه تعداد خروجی داشته باشیم؟ اینجا میگیم ابتدا رپرزنتیشن های ورودی رو کمپرس میکنیم ولی نه خیلی زیاد. میاییم میگیم مثلا 80 تا فیلتر 1در1 لحاظ میکنیم. اینها در ورودی اعمال میشن خروجی ما میشه 80 تا فیچرمپ که حالا فیلتر 3در3 ما میاد بروی این 80تا اعمال میشه . حالا آیا باز میخوایید کاهش سربار بدید؟ دستتون بازه میتونید از تکنیک های دیگه مثل dwc استفاده کنید.ولی باید تاثیراتش رو مد نظر بگیرید.
وقتی میخوایید از گروپ کانولوشن بعنوان مثال استفاده کنید یک حکم کلی نیست که مثلا بگیم این تعداد رو بگیرید. اینها تکنیک هایی هستن که شما الان با اون آشنا شدید و به شهود استفاده از اونها هم رسیدید. یعنی میدونید وقتی dwc اعمال میکنیم چه اتفاقی می افته و فرقش با حالت عادی چیه و چه حالتهایی رو میتونید متصور بشید. میدونید وقتی 1در1 استفاده میکنیم چه اتفاقی می افته .  وقتی به شهود رسیدید بسته به مساله خودتون باید انتخاب کنید.
نمیدونم همین موارد مدنظر شما بوده یا خیر؟ اگر نه بفرمایید تا توضیح در رابطه با بحث شما بدم.

---

سلام
خیلی ممنون
لطف کردید. حالا متوجه شدم.
سپاسگزارم

---

سلام.
خواهش میکنم
لطفا جواب مورد نظر رو تایید کنید تا تکلیف این سوال هم مشخص بشه.

Answer 1

سلام.
بحثها رو قاطی نکنید. ما روشهای مختلفی برای کاهش سربار داریم. هرکدومشون هم اصطلاحا یک implicationیی دارن برای خودشون . در بحث اینکه وقتی از تکنیک باتل نک قراره استفاده کنید نکته اینه که تعداد فیلترهای 1در1 شما که روی ورودی قراره اعمال بشه خیلی کوچکتر از ورودی نباشه. مثلا ورودی شما200 فیچرمپ هست. ما بعدش میخواییم از 256 فیلتر 3در3 استفاده کنیم . اینجا برای اینکه سربار رو کاهش بدیم میاییم یک فیلتر 1در1 استفاده میکنیم. خب چه تعداد خروجی داشته باشیم؟ اینجا میگیم ابتدا رپرزنتیشن های ورودی رو کمپرس میکنیم ولی نه خیلی زیاد. میاییم میگیم مثلا 80 تا فیلتر 1در1 لحاظ میکنیم. اینها در ورودی اعمال میشن خروجی ما میشه 80 تا فیچرمپ که حالا فیلتر 3در3 ما میاد بروی این 80تا اعمال میشه . حالا آیا باز میخوایید کاهش سربار بدید؟ دستتون بازه میتونید از تکنیک های دیگه مثل dwc استفاده کنید.ولی باید تاثیراتش رو مد نظر بگیرید.
وقتی میخوایید از گروپ کانولوشن بعنوان مثال استفاده کنید یک حکم کلی نیست که مثلا بگیم این تعداد رو بگیرید. اینها تکنیک هایی هستن که شما الان با اون آشنا شدید و به شهود استفاده از اونها هم رسیدید. یعنی میدونید وقتی dwc اعمال میکنیم چه اتفاقی می افته و فرقش با حالت عادی چیه و چه حالتهایی رو میتونید متصور بشید. میدونید وقتی 1در1 استفاده میکنیم چه اتفاقی می افته . وقتی به شهود رسیدید بسته به مساله خودتون باید انتخاب کنید.