فاین تیون در تنسورفلو

Question

سلام و عرض احترام
تا اونجایی که من متوجه شدم فاین تیون کردن عبارت از تغییر نرخ یادگیری و مقدار ممنتوم است.
حالا برای پیاده سازی اون به هنگام کد نویسی باید مقادیر این پارامترها را در شبکه عوض کنم؟ یا باید جاهای دیگه رو تغییر بدم؟ ایا اصلا اینطوری پیاده سازی میشه؟
ممنون

Answer 1

سلام
تعریف شما از فاین تونینگ دقیق نیست.
در فاین تونینگ یا تنظیم دقیق، (که در بخش پیشینه یادگیری عمیق و همینطور اموزش کفی توضیح داده شدن ) شما یکسری از لایه ها رو یا حذف میکنید لایه جدید میزارید بجاش یا تغییرش میدید (با نامش ) تا فرایند اموزش برای این لایه ها دوباره تکرار بشه. بخشهای دیگه شبکه ممکنه ازاد گذاشته بشن تا همگام با لایه های جدید تنظیم بشن یا ممکنه فریز بشن تا تغییر نکنن . یا ممکنه میزان تغییرات در اونها توسط ضرایب مختلف تعیین بشه.
در فاین تونینگ به همین علت نرخ یادگیری چند برابر کمتر از نرخ یادگیری اولیه ای هست که شبکه اموزش دیده . چون شبکه آموزش دیده هست نیاز به تنظیم شدن داره و قرار نیست با انتخاب یه نرخ یادگیری زیاد از نقطه بهینه خارج بشیم .
وقتی مدل از پیش اموزش داده شده رو لود میکنید. وزن پارامترهای مربوط به لایه هایی که اسمشون تغییر نکرده باگذاری میشن اما لایه هایی که تغییر کردن مقادیر اولیه جدید میگیرن و با توجه به توضیحات قبلی و تنظیمات صورت گرفته فرایند تنظیم دقیق شبکه برای یه موضوع جدید شروع میشه.

Comments

ببخشید منظور از تغییر لایه ها صرفا وزن ها و بایاس هست؟ یا ممکنه کل لایه برداشته بشه یا تغییراتی نظیر عوض کردن optimizer و از این قبیل باشه؟

---

سلام. همونطور که بالا توضیح دادم هم میشه یک لایه کاملا حذف بشه. یا اینکه لایه باشه اما تغییراتی مثل تعداد نورون ها، نامش و همینطور ضرایب مربوط به نرخ یادگیری یا تنزل وزن داده بشه.