Deprecated: Function get_magic_quotes_gpc() is deprecated in /home/ustmbir/domains/deeplearning.ir/public_html/qa/qa-include/qa-base.php on line 1177
transfer learning - پرسش و پاسخ یادگیری عمیق
به بخش پرسش و پاسخ یادگیری عمیق خوش آمدید,
این نسخه آزمایشی سایت است.
لطفا به نکات زیر توجه کنید:
  • برای ارتباط با مدیران میتوانید از صفحه مدیران اقدام کنید.
  • سوال و جواب ها باید به زبان فارسی باشند. استفاده از زبان انگلیسی یا فینگلیش برای پاسخ دادن مجاز نیست.
  • لطفا بعد از پرسش سوال لینک سوال خود را در گرو تلگرام (Iran Deep Learning Group) معرفی کنید تا سریعتر به جواب برسید. برای دسترسی به آخرین لینک از منابع یادگیری استفاده کنید
  • لطفا بجای عکس از متن استفاده کنید. اگر متون طولانی هستند از سایت pastebin.com برای اپلود استفاده کرده و لینک حاصل را در سوال خود قرار دهید. برای قرار دادن تصویر ، از بخش ارسال تصویر ادیتور سایت استفاده کنید.
  • بعد از دریافت پاسخ، بهترین پاسخ را از طریق کلیک بر روی علامت تیک انتخاب کنید
  • اگر با خطا و یا مشکلی مواجه شدید از بخش تماس با ما در انتهای صفحه و یا ایمیل Coderx7@gmail.com موضوع را اطلاع دهید.

با تشکر

دسته بندی ها

0 امتیاز

1-من در مقاله ای دیدم که گفته بود "در ساختارمان ما سه لایه ی کانولوشن اول را مقدار دهی اولیه توسط یک شبکه از قبل آموزش دیده(الکس نت)، میکنیم" . ایا مقادیر وزن های سه لایه اول الکس نت را برمیدارد و روی سه لایه ی اول خود به عنوان مقادیر اولیه قرار میدهد؟ اگر اینطور باشد مشکلی که وجود دارد این است که سایز این سه لایه اول در ساختاری که مقاله ارائه داده و ساختار الکس نت متفاوت است(به طور مثال لایه اول آن فیلتر سایز 5و stride=2 و depth=64 در صورتی که الکس نت به ترتیب 11و 4و96 است ). به نظر شما چگونه این کار انجام گرفته. با تشکر.
2- اگر مقادیر لایه های اول رو برداریم و واسه آموزش یک شبکه دیگه استفاده کنیم انوقت در هنگام آموزش مقادیر وزنهای این لایه های اول تغییر میکنند یا خیر، (فقط لایه های جدید مقدار دهی وزنی میشوند به طوری که به لیبل ها پاسخ صحیح برچسب مربوطه به آن را بدهند).

توسط (100 امتیاز)
ویرایش شده توسط

1 پاسخ

0 امتیاز

سلام
اگر لایه های اولشون کاملا متفاوت هستند بله به احتمال قوی وزن ها رو بصورت دستی منتقل کردن
برای سوال دومتون من درست متوجه نشدم! اگه منظورتون از مقادیر همون وزنها باشه ، درصورتی که اون لایه ها رو freeze نکنید وزن اونها تغییر پیدا میکنه (بروز میشن طی فرایند بک پراپ) لایه های جدید شما هم که وزنهاشون بصورت رندوم مقداردهی اولیه میشن و اونا هم طی فرایند بک پراپ تنظیم میشن .

توسط (4.3k امتیاز)
سلام . لینک مقاله رو بدید اینطور سخت بشه گفت.
روال عادی که ممکن نیست چون تغییرات درلایه وجود داره و در صورت تغییر نام مقادیر رندوم مقداردهی اولیه میشن. برای مقداردهی کردن هم تنها راهی که میمونه انتقال دستی(منظور غیر از فاین تونینگ متداول هست) مقادیر هست که این هم میتونه شامل هرفرایند خاصی باشه نه اینکه صرفا مقادیر وزن عینا کپی بشن .
لینک مقاله رو باید قرار بدید تا بشه بهتر نظر داد
https://arxiv.org/pdf/1509.01602
صفحه 6 بند c  به مدل ارائه داده و نحوه مقدار دهی اولیه پرداخته. ممنون از اینکه سریع جواب میدین.
سلام
من یک نگاهی انداختم دوتا نکته مهم وجود داره. اول اینکه معماری اینها کلا متفاوت از الکس نت هست. الکس نت 8 لایه اس اما اینها معماری 5 لایه دارن (3 لایه کانولوشن+2 لایه فولی کانکتد در مقابل 5 لایه کانولوشن و 3 لایه فولی کانکتد الکس نت) . نکته دوم این هست برای بخش فاین تونینگ اینها اشاره کردن به مقاله الکس کریژوسکی (مقاله سال 2012) و اونجا ما بحث فاین تون خاصی رو نداریم. (اصلا بحث در مورد نحوه انجام فاین تون نمیشه اونجا). برای همین یا رفرنس رو اشتباهی دادن یا اومدن از شبکه از پیش اموزش داده شده الکس نت وزنهای لایه 2 به بعد که از فیلتر 5در5 استفاده میکنن رو استفاده کردند. (برای 3 در3 هم به ههمین شکل)
کار دیگه ای به ذهن من نمیرسه با توجه به شیوه بیان و ارجاعی که دادن .
از 2015 هم انگار فقط 2 بار بیشتر ارجاع داده نشده در حالی که ادعا کردن state of the art رو زدن یکم این مساله رو عجیب تر میکنه. و قائدتا باید ارجاعات بیشتری داشته باشن.
 بنظرم برای روشن شدن قضیه یه ایمیل به نویسنده بزنید و دقیقا این نکاتی که مطرح شده رو ازش جویا بشید  معمولا پیاده سازی رو باید بتونن ارائه کنن و یا بدرستی توضیح بدن که چیکار کردن .
...