LSTM و پردازش زبان طبیعی

Question

سلام دوستان
چند سوال در خصوص LSTM :
1-آیا LSTM زیر مجموعه ای از یادگیری عمیق است یا زیر مجموعه ای از شبکه عصبی بازگشتی؟
2-برای استفاده از LSTM در مسائل پردازش زبان طبیعی (NLP) آیا باز هم نیاز به استخراج ویژگی داریم و اگر نداریم ورودی شبکه ما چه خواهد بود؟
3-بهترین پیاده سازی های این مدل توسط کدام کتابخانه صورت گرفته؟
4-به صورت خیلی خلاصه تفاوت معماری LSTM با یادگیری عمیق در چیست؟
با تشکر

Answer 1

سلام
1- یادگیری عمیق یک چیز خاص و مجزا نیست صرف عمیق کردن عمق استخراج ویژگی و گسترش خطا باعث عمیق شدن میشه. تفاوت LSTM با RNN در توان عمیق کردن بازنمایی های این شبکه در توالی ورودی هست.
2- LSTM توان درک داده های با اندازه متفاوت در راستای بردار مجزا رو داره که در زبان طبیعی این بردار در حقیقت توالی واژگان هست. بحث استخراج ویژگی وابسته به مساله هست اگر مساله متنی باشه عموما از word2vec استفاده میشه یا از کانولوشن جهت ارتباطات اولیه کلمات. اگر ورودی شما تصویر یا ویدیو باشه که حتما باید چندین لایه cnn به تحلیل ویدیو بپردازن و بعد lstm تحلیل معنایی زبانی کنه
3- بهترین پیاده سازی رو CNTK Microsoft داره و بعد از اون Torch و TensorFlow
4- این سوال شما همونجور که در بخش یک گفتم کلا غلط هست
توصیه میکنم دوره پردازش زبان طبیعی با یادگیری ژرف دانشگاه استنفورد رو بگذرونید.

Comments

لینک کورس nlp stanford رو دارید؟