لایه ها در فاین تیون

Question

سلام و عرض ادب
برای فاین تیون کردن من دیدم بیشتر میان 3 تا لایه اخر را حذف میکنند و لایه های جدید قرار میدهند
این لایه های جدید بر چه اساسی انتخاب میشوند.لایه اخر که معمولا softmaxاست که به عنوان طبقه بند عمل میکند تا حدی چرایی وجود آن قابل فهم است ولی دولایه ما قبل اخر چگونه انتخاب میشوند؟
در یک جا من دیدم که لایه تمام متصل قرار می دهند ولی یک ه جای دیگه لایه کانولوشنی قرار میدهند؟
اساس انتخاب این لایه های اخر چگونه است؟
با تشکر

Answer 1

سلام
لایه های اخر یک شبکه ویژگی های سطح بالا رو فرا میگیرند برای همین بسته به میزان نزدیکی دیتاست ابتدایی که ترینینگ روش انجام شده و دیتاست دومین که عمل فاین تونینگ داره روی اون انجام میشه لایه یا لایه های انتهایی شبکه تغییر پیدا میکنند.
در ساده ترین و ابتدایی ترین حالت زمانی که ماهیت دیتاها یکسان یا خیلی نزدیک به هم باشه و صرفا ما نیازمند تغییر کلاسها باشیم لایه انتهایی رو تغییر میدیم . اگر تفاوت بیشتر باشه لایه ماقبل اون و اگر بیشتر باشه به همین ترتیب لایه های بیشتری باید دوباره تنظیم بشن (فاین تون).
انتخاب لایه تماما متصل به ود دلیل بود. یک دلیلش این بوده که در انتها شما یک فیچر وکتور خواهید داشتد که میتونید ازش براحتی استفاده کنید در مسائل یادگیری دیگه و یک چیز نرمی هست و نکته دوم اینه که خیلی ها چون معماری های اولیه مثل الکس نت و وی جی جی و امثالهم در لایه های انتهایی از لایه تماما متصل استفاده کردن از اونها استفاده میکنن .
بعدها برای کاهش سربار از لایه کانولوشن بجای تماما متصل استفاده کردن .

Comments

ممنون .
 ببخشید یک سوال برام پیش اومده
اگر احتیاج به ویژگی با سطح بالاتری نیاز داشته باشیم از یک لایه کانولوشنی استفاده میکنیم ولی اگر از ویژگی که الان دارم رضایت کافی رو داشته باشم با یک لایه تمام متصل اونرو به یک لایه softmax متصل میکنم.یعنی لایه کانولوشنی قابلیت استخراج ویژگی سطح بالاتر رو داره  ولی لایه تمام متصل عموما برای اتصال لایه قبل از خودش به لایه بعدی که اینجا منظور طبقه بند هست استفاده میشه هست؟

ایا این چیزی که من فهمیدم درسته
ممنون از لطفتون

---

سلام من متوجه نشدم میشه واضح تر توضیح بدید؟

---

اجازه بدبد سوالم رو یه جور دیگه بپرسم
در واقع  با توجه به اینکه تعداد کلاس های دیتا ست خودمون در فاین تیون کمتر هست  میایند لایه تمام متصل رو از معماری حذف میکنند و یک لایه تمام متصل دیگه  جاش قرار میدهند و بهدش هم یک طبقه بند سافت مکس قرار میدهند
ایا درست گفتم؟

---

سلام الزامی به حذفش ندارید. فقط اسم لایه رو عوض کنید و تعداد دسته یا کلاسها رو ویرایش کنید. به بقیه اش هم نیازی نیست دست بزنید (تنها لایه های بعدی رو ویرایش کنید که اسم جدید رو استفاده کنند)
دلیل این کار هم اینه که وقتی شما از مدل از پیش اموزش داده شده استفاده میکنید ، برنامه میاد لایه ها رو چک میکنه بر اساس اسمشون وزنها رو بارگذاری مینکه وقتی اسمی رو پیدا نکنه مقداردهی اولیه میکنه و میره سراغ بعدی. برای همین هیچ الزامی ندارید که لایه رو حذف کنید دوباره یه لایه دیگه بزارید! خیلی راحت اسمش رو عوض کنید و تغییراتی که لازمه در همون لایه بدید.

---

ممنون از لطفتون