چرا در معماری alexnet تمامی لایه ها به دو قسمت تقسیم شده اند؟

Question

با سلام
ببخشید من این سوال رو قبلا پرسیدم و جناب حسن پور لطف کردن و جوابشو دادن ولی انگار نتونستم درست منظورمو برسونم واسه همین دوباره میرسم اگر ممکنه جواب بدید
سوال من راجب معماری alexnet هست عینا متن رو میارم

...The first convolutional layer filters the 224*224*3 input image with 96 kernels

اینجا میگه عمق لایه اول 96تاس حالا ادامش راجب لایه دوم

  The second convolutional layer takes as input the (response-normalized
  and pooled) output of the first convolutional layer and filters it
  with 256 kernels of size 5*5*48

اینجا میگه تو لایه دوم سایز فیلتر 5*5*48 ، سوالم اینه با توجه به اینکه کرنل لایه اول 96 تاس چرا فیلتر لایه دوم 5*5*96 نیست ؟ لایه های چهارم و پنجم هم اینجورین
ممنون

Answer 1

سلام .
معماری الکس نت اصلی دو بخشی بود . دلیلش هم کمبود حافظه اون زمان بود . 6 گیگ حافظه نیاز داشتن و الکس هم برای برطرف کردن مشکلش از دوتا کارت GTX580 اگه اشتباه نکرده باشم استفاده کرده بود و دوتا پایپ لاین ایجاد کرده بود و بصورت موازی بار رو روی دوتا کارت گرافیک لود کرد و آموزش رو انجام داد.
بطور خلاصه یعنی 48 + 48 = 96 و تصویر معماری اونها تو همون مقاله گویای این مساله هست .

یعنی مثلا لایه اول 96 کانال داره و لایه دوم 256 تا. لایه دوم فیلترهای 0 تا 127ش به کانالهای 0 تا 47 لایه اول و فیلترهای 128 تا 255ش به کانالهای 48 تا 95 وصل میشن.

Comments

ممنون آقای حسن پور خیلی لطف کردید ، من از تصویر یه برداشت دیگه کرده بودم
پس یعنی اینکه هر پیکسل از تصویر ورودی وارد هر دو بخش در هر کدام از لایه ها میشن (هم قسمت بالا هم پایین) درسته ؟
فقط یه سوال چرا در لایه سوم اندازه فیلترها برابر 3*3*256 هست و عمق نصف نشده ؟
ممنون

---

ورودی به دو بخش تقسیم میشه . اگه هر پیکسل وارد هر دو بخش بشه که باز میشه همون داستان!
دقت کن که ایده و هدف تقسیم بار پردازشی بوده بین دو کارت گرافیک .
کدوم لایه ؟

---

ممنون آقای حسن پور عزیز
لایه سوم رو عرض کردم متنشو عینا میارم
 256*The third convolutional layer has 384 kernels of size 3*  3 
.... connected to
ببینید اینجا میگه اندازه فیلترها یلایه سوم 3*3*256 در صورتیکه با توجه به اینکه کرنل لایه دوم 256تاس طبق فرمایش شما باید اندازه فیلترلایه سوم 3*3*128  باشه چرا اینجوری شده؟
و ی سوال دیگه اگر پیکسلهای ورودی به دو بخش تقسیم شدن اون وقت کیفیت کار شبکه پایین نمیاد ؟چون به جای اینکه مثلا تو لایه اول 96 کرنل به یه پیکسل نگاه کنن نصف اون یعنی 48 تا نگاه میکنن

---

لایه سوم 384 کرنل داره که تو تصویر هم مشخصه که در قالب دو لایه 192 و 192 کرنلی ارائه شده.
مبحث گروپینگ تو همون مقاله الکس نت توضیح داده شده . باید تست بشه ممکنه در بعضی موارد خوب کار کنه و در بعضی موارد نه. معماری های بعدی استفاده نکردن. من خودم تا بحال استفاده نکردم و نمیتونم نظر قطعی بدم .
خب من برای اطمینان بیشتر دوباره چک کردم . این grouping فقط در همون الکس نت بخاطر همون سربار که اول گفتم ایجاد شده و دیگه کسی استفاده ای نکرده ازش حتی خودش.(به غیر از استفاده ای که برای deconvolution داره) در مورد کار هم تو گروپینگ همونطور که گفتم ورودی به چند بخش تقسیم میشه (مثلا اگر group =2 ) یعنی ورودی در عمق به دو بخش تبدیل میشه بخش اول رو یک مجموعه کرنل و بخش دوم رو مجموعه بعدی روش کار میکنه. و بعد بر همون اساسی که توضیح داده شده تو مقاله نتایج مرج میشن با هم.

---

ممنون از لطفتون
سپاس فراوان