ساختار شبکه های rnn

Question

یه سوال داشتم.
توی شبکه های rnn یه واحد هست به نام cell که ورودی همون لحظه و یک ورودی هم از cell قبل دارد. می خواستم ببینم این cell شامل چند نرون هست؟ وقتی ورودی به این cell فرضا یک کلمه هست چطور میشه؟ مگر نباید یک تک کاراکتر یا عدد باشد؟

Answer 1

منظور از cell همان نورونه . کوچکترین واحد محاسباتی.
ورودی سلول ها تنها اعداد هستند. برای استفاده از لغات یا حروف. باید روشی برای تصویر کردن این ها به اعداد پیدا کنیم. که ساده ترین روش بردار One-hot هست. در کل هم از حرف و هم کلمه میشه استفاده کرد و اینکه کدوم باشه به کاربرد برمیگرده.
بردار one-hot برداری به اندازه لغت نامه ( در سطح حرف به اندازه تعداد حرف ها) به صورتی که همه داریه های اون صفر و درایه با اندیس کلمه یا حرف مورد نظر در لغت نامه عدد یک.
روش های مناسب تری هم برای نمایش متون وجود داره( word embedding یا word2vec )

Comments

پس ما توی یک لایه یه تعداد نرون داریم مثلا 200تا و یک بردار از یک سری اعداد که به صورت sequential میدیم به شبکه مثلا 10تا درسته؟ از cell اول شروع میشه و میره جلو. مثل kernel توی CNN?
و یه سوال دیگه: زمانیکه ما فرضا یک batch ده تایی از کلمات میدیم به شبکه کدوم خروجیش پیش بینی میکنه و کلمه چندم رو؟ 11ام رو یا اول رو؟

---

ما تعدادی اعداد که نمایش گر اندیس کلمات ما هستند رو تبدیل میکنیم به تعدادی بردار به همون شکلی که عرض کردم و در هر واحد زمانی یک بردار رو به کل شبکه تغذیه میکنیم. روش تغذیه هم مانند شبکه های پیشرو است یعنی به کل لایه اول نه فقط به یک نورون.
سوال دومتون رو متوجه نشدم. اما فکر میکنم بد نباشه اگر به بلاگ زیر سری بزنید
http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/

---

من یه چیزی رو متوجه نمیشم. فرضا ما سه کلمه ی "this is a" رو به شبکه میدیم میخوایم کلمه بعدی رو پیش بینی کنه. برای هر کدوم از این کلمه ها ما یه بردار داریم که یه المان 1 داره و بقیش صفره. این سه تا بردار رو که با هم نمیدیم به شبکه درسته؟ اینا ارتباطشون با استپ زمانی چطوریه؟ توی فرضا t یه بردار رو میدیم توی t+1 یه بردار و ... ؟ یا که این سه کلمه باید همزمان به شبکه داده بشن؟ بعد طول شبکه چقد باید باشه؟

---

http://karpathy.github.io/2015/05/21/rnn-effectiveness/
این لینک رو ببینید.
this is a bird:
this را به شبکه میدهیم و is را به عنوان برچسب .
is را به شبکه میدهیم و a را به عنوان برچسب .
a را به شبکه میدهیم و bird  را به عنوان برچسب .
در مرحله آموزش این مراحل را پشت هم ا عمال میکنیم. توجه داشته باشید که در مرحله آخر شبکه مراحل قبل را نیز در حافظه خود دارد.