به بخش پرسش و پاسخ یادگیری عمیق خوش آمدید,
این نسخه آزمایشی سایت است.
لطفا به نکات زیر توجه کنید:
  • برای ارتباط با مدیران میتوانید از صفحه مدیران اقدام کنید.
  • سوال و جواب ها باید به زبان فارسی باشند. استفاده از زبان انگلیسی یا فینگلیش برای پاسخ دادن مجاز نیست.
  • لطفا بعد از پرسش سوال لینک سوال خود را در گرو تلگرام (Iran Deep Learning Group) معرفی کنید تا سریعتر به جواب برسید. برای دسترسی به آخرین لینک از منابع یادگیری استفاده کنید
  • لطفا بجای عکس از متن استفاده کنید. اگر متون طولانی هستند از سایت pastebin.com برای اپلود استفاده کرده و لینک حاصل را در سوال خود قرار دهید. برای قرار دادن تصویر ، از بخش ارسال تصویر ادیتور سایت استفاده کنید.
  • بعد از دریافت پاسخ، بهترین پاسخ را از طریق کلیک بر روی علامت تیک انتخاب کنید
  • اگر با خطا و یا مشکلی مواجه شدید از بخش تماس با ما در انتهای صفحه و یا ایمیل Coderx7@gmail.com موضوع را اطلاع دهید.

با تشکر

دسته بندی ها

0 امتیاز

سلام - در سایت و منابع مختلف به این مطلب برخورد کردم که شبکه کانولوشنی بر خلاف شبکه mlp وزن هاشون رو به اشتراک میزارن ، اما متوجه نشدم که چطور این اشتراک وزن(اشتراک پارامتر) اتفاق می افته-این اشتراک وزن به چه صورتی هست؟
در مورد الکس نت هم سوالی دارم که چرا دو تا لایه fc با 4096 تا نورون وجود داره ، چرا از یکی استفاده نکرده و اینکه این لایه آخر که 1000 تا هست ، ایا اون هم لایه fc يا لايه loss? خوب و دقیق متوجه نشدم که آیا لایه آخر کار دسته بندی میکنه یا همون fc هست كه به بردار 1*1000 تبدیل شده است...پیشاپیش از پاسخگوییتون متشکرم

توسط (104 امتیاز)

2 پاسخ

+2 امتیاز
 
بهترین پاسخ

سلام
1 - همینطور که دوستمون گفتن توی آموزشهای شبکه convolution این مبحث weight sharing توضیح داده شده
اما به طور خلاصه بحثش اینطوریه که مگه هر feature map در حقیقت جواب یه فیلتر نیست که مثلا سایزش 5x5 در تعداد کانال‌های لایه قبل ه؟
خب پس مثل اینه که شما یه نورون دارید که به اندازه پارامترهای فیلتر وزن داره و روی خروجی لایه قبلی به صورت sliding حرکت می کنه و خروجی رو برای هر پیکسل توی feature map تولید می کنه
اما توی عمل اگه بخوایم برای هر لایه convolution فقط یه نورون در نظر بگیریم که تمامی مراحل فیلتر و کانولوشن رو انجام می ده خیلی وقت گیره پس برای هر پیکسل از feature map یه نورون در نظر می گیریم که در عین واحد تمامی نورون ها خروجی رو تولید کنن اما همشون هم قرار بود یه کار یا یه فیلتر رو اجرا کنن، پس وزنهای همشون مشترکه

2 - این سوال شما در مورد ساختار کلی واقعیتش اینه که بیشتر بحث تجربه یا هزینه فضا یا زمان آموزش یا ..... هستش
و شما می تونید بگید چرا به جا 2 تا ، 3 تا لایه نداره؟ چرا به جای 4096 ، 5678 تا نورون نداره و .....
اینکه چه ساختار شبکه عصبی برای یه مساله خوبه هنوز هم از مسائل خیلی بازه، البته گوگل یه سری ادعا روش داره

3 - اون لایه 1000 تا هم در واقع یه لایه fc هستش(چون هر نورون از تمامی نورونهای لایه قبلش ورودی می گیره)،
بعدش وارد softmax میشه(که خروجی فرم توزیع احتمال به خودش بگیره) و loss هم بعد از softmax حساب میشه
اینکه چرا 1000 تا نورون داره به خاطره اینه که داده‌های ما هم که imageNet باشه 1000 تا کلاس داره

توسط (1.6k امتیاز)
انتخاب شده توسط
سلام .
در ادامه صحبت و توضیحات شما بنظرم ذکر این نکته ضروریه تا دوستان از توضیحات شما برداشت اشتباه نکنند.
اشتراک وزن ربطی به بحث تعداد نورون ها و پیکسلها نداره . مطلبی که اشاره کردید صرفا یک بحث پیاده سازی هست که برای سرعت انجام عملیات در کارت گرافیک استفاده میشه . هرچند ما اشتراک در این نورونها داریم و عملا همه یک نورون بحساب میان اما بحث اشتراک مورد نظر این نیست.
بحث اشتراک پارامتر در کانولوشن اشاره به این داره که هر نورون صرفا یک ماتریس وزن داره و قراره هر نورون یک فیلتر بدست بده . در شبکه عصبی mlp ما به ازای هر پیکسل ورودی یک وزن داشتیم که اینجا  ما یک ماتریس وزن واحد و مشترک به ازای تمامی پیکسل ها در هر نورون داریم .
سلام
بله همینطوره
منظور منم دقیقا همین بود که هر feature map در حقیقت یه پاسخ فیلتره مستقل از مکانه
در نتیجه هرجای تصویر که باشیم باید یه عملیات انجام بشه که اگر این کار همزمان توسط چند نورون داره انجام میشه، وزنهاشون مشترکه و اگه توسط یه نورون sliding داره انجام میشه در همه نقاط تصویر، وزنهای یکسانی به کاربرده میشه
ممنون بابت شفاف سازی
+2 امتیاز

سلام
سوال اولتون تو آموزش شبکه کانولوشن توضیح داده شده لطفا اون رو مطالعه کنید.
در الکس نت از تمامی اون لایه ها استفاده شده! من متوجه نمیشم منظور شما از استفاده نکرده یعنی چی !
اون لایه اخر که 1000 نورون داره لایه ای هست که برای دسته بندی ازش استفاده میشه و اون 1000 هم تعداد کلاس هاست
خروجی این لایه وارد لایه سافتمکس میشه برای دسته بندی.

توسط (4.3k امتیاز)
...