پردازش ویدئو با شبکه LSTM

Question

سلام
من میخوام روی پردازش و تشخیص رفتار در ویدئو توسط شبکه lstmدر زبان پایتون کار کنم
1-چند نوع شبکه lstm داریم؟
2- آیا برنامه ای در این رابطه در زبان پایتون دارید؟
ممنون

Answer 1

سلام
این موضوعی هستش که خیلی روش کار شده و هنوزم جا کار زیادی داره برای همین کلی مقاله و کد براش هست

1- خیلی زیاد. البته شاید به اسم lstm نباشه ولی ایده کلیشون یکیه مثل gru
البته ایده های دیگه هم برای بحث مدیریت دنباله‌های طولانی به جز خانواده lstm هستن مثل clockwork rnn
نکته مهم اینه که توی خانواده lstm ، تحقیقاتی که کردن به صورت عملی نشون داده کم و بیش روی مسائل مختلف، همه این ساختارها عملکرد مشابهی از نظر دقت دارن و شما اگه از lstm با بایاس +1 برای forget gate استفاده کنید نتیجه خوبی می گیرید. برای همینه که با این همه مدل مختلف الان هنورم lstm و gru خیلی پرکاربردن.
این مقاله خیلی دقیقتر این مباحث رو مطرح کرده

LSTM: A Search Space Odyssey
> https://arxiv.org/abs/1503.04069

2 - بله کدهای خیلی زیادی برای انواع زبانها هست. برای پایتون نمونش ایناس:
حالا شما می تونید هر قسمتیش رو با کدهای دیگه ترکیب کنید و ...

https://github.com/guillaume-chevalier/LSTM-Human-Activity-Recognition

https://github.com/chihyaoma/Activity-Recognition-with-CNN-and-RNN

البته دومی با torch ه که اگه خیلی تاکید روی پایتون دارید تبدیل کردنش به pytorch کار سختی نیست.

اینها چیزایی هست که من قبلا دیده بودم و ایده های خیلی سر راستی دارن، مسلما جدیدا خیلی کارهای ترکیبی بیشتر صورت گرفته

Comments

شما خودتون مورد اول رو که با پایتون هست رو اجرا کردین؟

---

من تیکه هاییش رو کاملا با رعایت موازین اخلاقی در جاهای دیگه استفاده کردم :))
ولی اینکه بزنم ران بشه نه. که البته کل زحمتش هم همینه که یه دکمه ران زده بشه
چون تابع mainش کامل همه چی رو پوشش می ده. تازه نتبوک jupyter ش رو هم گذاشته