supervised fine-tuning در شبکه های باور عمیق

Question

سلام دوستان وقتتون بخیر
supervised fine-tuning در شبکه های باور عمیق چجوری انجام میشه؟
ممنون میشم نحوه کارکردش رو بگید. چون خود DBN بدون نظارت آموزش میبینه ولی fine-tuning با نظارت هستش

Answer 1

سلام. وقت شما هم بخیر.
خود DBN در واقع به صورت بدون نظارت train میشه که با استفاده از یک سری Auto Encoder میان و وزن ها را اموزش میدن که این فاز رو معمولا Greedy wised layerd traning میگن. بعد از انجام این مرحله وزن های شبکه عصبی شما توی یک near local optimal قرار میگیره. حال اگه داده های برچسب داری در اختیار داشته باشی(prior knowledge) میتونی فاز دوم که supervised fine-tuning را اجرا کنی که میان از Gradient descents برای tune کردن وزن ها استفاده میکنن

Comments

خیلی خیلی ممنونم ازتون که وقت گذاشتید برای سوال من
ولی مشکل من اینه که چجوری ما لیبل ها رو واسش تعریف میکنیم هنگام fine-tuning چون که خود DBN بدون نظارت هستش
آیا بعد آموزش یه لایه برای طبقه بندی بهش اضافه می کنیم؟

---

اوکی.منظور شما تبدیل این ساختار به ساختار با ناظر هست. خوب این روشهای مختلفی داره و مقالات مختلف. دو تا راه مشهور هست که من عینا از متن مقاله براتون میارم و خود مقاله رو هم براتون اخر نظر میزارم که بتونید از مراجع و متن خود مقاله استفاده کنید.
Two ways of transforming the unsupervised models into classifiers have been
used: either use the pre-trained model as a feature extractor, and use the concatenation of all hidden
representations as inputs to a classifier (classically, an SVM) [11, 15], or use pre-trained weights to
initialize a deep feed-forward multi-layer neural network, that will then be fine-tuned by gradient
descent on a supervised training criterion [3, 4, 5].
1
Other types of deep learning have been explored, that combine supervised and unsupervised updates
at  the  same  time,  for  instance  [16].   Instead,  we  focus  here  on  algorithms  with  the  above  two-
phase distinction,  and we wish to compare the flavors that perform supervised fine-tuning of the
representations with those that do not.
چیزی که در نظر قبل بهتون پیشنهاد دادم روش دوم این مقاله هست یعنی وزن هاتون رو در بیارید و بریزید داخل یه MLP و بعد با استفاده از Backpropagation اموزش بدید.
رفرنس:
Lamblin, Pascal, and Yoshua Bengio. "Important gains from supervised fine-tuning of deep architectures on large labeled sets." NIPS* 2010 Deep Learning and Unsupervised Feature Learning Workshop. 2010.

Answer 2

سلام
با تشکر از دوستمون بابت توضیحاتشون اما به زبان ساده تر و خلاصه:
کافیه که یه شبکه mlp تعریف کنید که وزنهاش رو از روی DBNی که pretrain کردین گرفته باشین
یعنی وزنهایی که در قسمت unsupervised به دست اومده رو توی شبکه mlp جدیدمون کپی می کنیم
و بعدش هم مثلا اگه قرار classification انجام بدید، یه لایه softmax به آخر شبکه اضافه می‌کنید و مثل شبکه های معمولی، شبکه رو آموزش می‌دید