آیا شبکه LSTM برای آموزش به لیبل احتیاج دارد؟

Question

با سلام...
آیا شبکه LSTM برای آموزش به لیبل احتیاج دارد؟ منظورم اینه که مثل شبکه CNN آیا بانظارت هست یا میشه بدون نظارت هم انجامش داد؟؟
من یکسری کلمه دارم که میخوام برای هرکدوم جدا LSTM بگیرم یعنی میخوام برای هر کلمه یک دنباله ای از احتمال رو به عنوان خروجی بدهد.. میدونم که باید هر ردیف از کلمه رو به عنوان ورودی بدم و تعداد timestep ها به تبع میشه تعداد ردیفها.. ولی فقط همین یک کلمه رو میخوام بدم بهش.در این حالت من برچسب یا لیبلی ندارم... آیا اینکار شدنیست؟
من مفهوم کلی LSTM رو فهمیدم ولی نمیدونم برای آموزش و آپدیت وزنها بر چه اساسی خطا رو حساب میکنه؟
آیا بدون نظارت کار میکنه؟ و اگر نه در مواردی که دیتای ما برچسب نداره چگونه لیبلها رو درست میکنه؟
ممنون از پاسخی که میدید....

Comments

سلام
شاید مقاله زیر مربوط به سوال تان باشد
https://arxiv.org/pdf/1703.02507.pdf

---

واقعیت این است چیزی به اسم یادگیری بدون نظارت وجود ندارد
برای مثال در مورد الگوریتم EM ما یک یادگیری تک کلاسه برای مجموع وزن دار احتمال کلاسها داریم
یا برای  Auto-encoder ها خود ورودی برچسب ورودی است
 روش متداول برای آموزش LSTM یادگیری نظارت شده است اما اگر صرفا هدف فشرده سازی باشد
مشابه Auto-encoder ها می توان یادگیری بدون نظارت روی LSTM انجام داد
اگر واضحتر مساله مد نظرتان را شرح دهید بهتر می شود راهنمایی کرد