transfer learning

Question

1-من در مقاله ای دیدم که گفته بود "در ساختارمان ما سه لایه ی کانولوشن اول را مقدار دهی اولیه توسط یک شبکه از قبل آموزش دیده(الکس نت)، میکنیم" . ایا مقادیر وزن های سه لایه اول الکس نت را برمیدارد و روی سه لایه ی اول خود به عنوان مقادیر اولیه قرار میدهد؟ اگر اینطور باشد مشکلی که وجود دارد این است که سایز این سه لایه اول در ساختاری که مقاله ارائه داده و ساختار الکس نت متفاوت است(به طور مثال لایه اول آن فیلتر سایز 5و stride=2 و depth=64 در صورتی که الکس نت به ترتیب 11و 4و96 است ). به نظر شما چگونه این کار انجام گرفته. با تشکر.
2- اگر مقادیر لایه های اول رو برداریم و واسه آموزش یک شبکه دیگه استفاده کنیم انوقت در هنگام آموزش مقادیر وزنهای این لایه های اول تغییر میکنند یا خیر، (فقط لایه های جدید مقدار دهی وزنی میشوند به طوری که به لیبل ها پاسخ صحیح برچسب مربوطه به آن را بدهند).

Answer 1

سلام
اگر لایه های اولشون کاملا متفاوت هستند بله به احتمال قوی وزن ها رو بصورت دستی منتقل کردن
برای سوال دومتون من درست متوجه نشدم! اگه منظورتون از مقادیر همون وزنها باشه ، درصورتی که اون لایه ها رو freeze نکنید وزن اونها تغییر پیدا میکنه (بروز میشن طی فرایند بک پراپ) لایه های جدید شما هم که وزنهاشون بصورت رندوم مقداردهی اولیه میشن و اونا هم طی فرایند بک پراپ تنظیم میشن .

Comments

خوب اگر سایز فیلتر ها در دوشبکه متفائت باشد چگونه میشود دستی وزن ها را انتقال داد. به طور مثال یک فیلتر 5*5 و یم فیلتر 11*11

---

سلام . لینک مقاله رو بدید اینطور سخت بشه گفت.
روال عادی که ممکن نیست چون تغییرات درلایه وجود داره و در صورت تغییر نام مقادیر رندوم مقداردهی اولیه میشن. برای مقداردهی کردن هم تنها راهی که میمونه انتقال دستی(منظور غیر از فاین تونینگ متداول هست) مقادیر هست که این هم میتونه شامل هرفرایند خاصی باشه نه اینکه صرفا مقادیر وزن عینا کپی بشن .
لینک مقاله رو باید قرار بدید تا بشه بهتر نظر داد

---

https://arxiv.org/pdf/1509.01602
صفحه 6 بند c  به مدل ارائه داده و نحوه مقدار دهی اولیه پرداخته. ممنون از اینکه سریع جواب میدین.

---

سلام
من یک نگاهی انداختم دوتا نکته مهم وجود داره. اول اینکه معماری اینها کلا متفاوت از الکس نت هست. الکس نت 8 لایه اس اما اینها معماری 5 لایه دارن (3 لایه کانولوشن+2 لایه فولی کانکتد در مقابل 5 لایه کانولوشن و 3 لایه فولی کانکتد الکس نت) . نکته دوم این هست برای بخش فاین تونینگ اینها اشاره کردن به مقاله الکس کریژوسکی (مقاله سال 2012) و اونجا ما بحث فاین تون خاصی رو نداریم. (اصلا بحث در مورد نحوه انجام فاین تون نمیشه اونجا). برای همین یا رفرنس رو اشتباهی دادن یا اومدن از شبکه از پیش اموزش داده شده الکس نت وزنهای لایه 2 به بعد که از فیلتر 5در5 استفاده میکنن رو استفاده کردند. (برای 3 در3 هم به ههمین شکل)
کار دیگه ای به ذهن من نمیرسه با توجه به شیوه بیان و ارجاعی که دادن .
از 2015 هم انگار فقط 2 بار بیشتر ارجاع داده نشده در حالی که ادعا کردن state of the art رو زدن یکم این مساله رو عجیب تر میکنه. و قائدتا باید ارجاعات بیشتری داشته باشن.
 بنظرم برای روشن شدن قضیه یه ایمیل به نویسنده بزنید و دقیقا این نکاتی که مطرح شده رو ازش جویا بشید  معمولا پیاده سازی رو باید بتونن ارائه کنن و یا بدرستی توضیح بدن که چیکار کردن .