تاثیر initilizeکردن وزن ها در آموزش

Question

سلام وعرض ادب
من میخوام لایه آخر رو فاین تیون کنم
میخواستم بدونم چه تفاوتی بین موارد زیر هست
1 تغییر وزن های لایه فاین تیون شده به تنهایی بون دست زدن به وزن های دیگر
2 initilize کردن کلیه وزن های شبکه و دادن وزن مثلا A به همه لایه ها به جز لایه آخر و دادن مقدار B به لایه آخر
ممنون

Answer 1

سلام
فاین تون خاصیتش به اینه که شما وزنهای یادگرفته شده رو از بین نبرید. اگر قراره وزنها رو رندوم بدید دیگه فاین تون معنایی نداره! مگر اینکه این وزنها رندوم نباشن و بدونید دارید چیکار میکنید .
در زمان فاین تونینگ شما لایه یا لایه هایی رو تغییر نام میدید تا از اول بصورت تصادفی مقداردهی اولیه بشن و باز به بقیه لایه ها دست نمیزنید چون وزنهایی که یادگرفته شدن قراره ازشون استفاده بشه و با کمک اونها وزنهای اختصاصی لایه های جدید بدست بیاد.

Comments

ممنون.
پس چه زمان از اینیشیالایزیشن استفاده میشود؟
من برای فاین تیون وزن ها رو با سعی و خطا میدم و از هیچ  تابع ریاضی نظیر گوسی استفاده نمیکنم.
آیا  این کاردرسته؟

---

مقداردهی اولیه تنها برای زمان شروع آموزش (از ابتدا) و یا در فاین تونینگ (لایه های تغییر پیدا کرده) استفاده میشه.
برای فاین تون شما پارامترهای مختلفی دارید که طی سوالات قبلی بحث شده به کرار. لطفا به مطالب قبلی رجوع کنید اگر باز سوالی بود بفرمایید.