عدم همگرا شدن IndRNN

Question

سلام
من از IndRNN استفاده کردم جای lstm
https://github.com/titu1994/Keras-IndRNN
ولی از صحت دورو بر 50 درصد میچرخه و بهتر نمیشه
بعد از لایه ی conv2d اومدم کد زیر رو زدم که تصویر رو با indrnn چک کنه جای لایه ی FC
recurrent_clip_maxرو یک دادم فرقی نکرد، همون مقداری که خودش گفته بود قرار دادم فرقی نکرد -1 هم نشد
نمیدونم مشکل از کجاست

model.add(Permute((2,1,3)))

model.add(Reshape((64, -1)))
   
   timestemps=132

model.add(IndRNN(64, recurrent_clip_min=-1, recurrent_clip_max=pow(2.0, 1. / timestemps),
                 return_sequences=True, recurrent_dropout=0.2))
model.add(Dropout(0.25,name='dropr1'))

model.add(IndRNN(32, recurrent_clip_min=-1, recurrent_clip_max=pow(2.0, 1. / timestemps), 
                 return_sequences=False, recurrent_dropout=0.2))
model.add(Dropout(0.25,name='dropr2'))

Comments

سلام
مقادیری که برای آموزش استفاده کردید رو هم اگه میشه بذارید یا اگه تستی روی learning rate و این چیزا داشتید رو توضیح بدید خیلی گزینه های احتمالی کمتر میشه
نکته بعدی اینه که اصلا مساله چی هست و آسونه یا سخته؟ اگه کلا dropoutها رو بردارید و فقط یه لایه rnn استفاده کنید چه اتفاقی می افته؟

---

سلام
با LR مشابه با lstm یعنی 0.001 شروع کردم با روش nadam
و اگر بعد 4 اپوچ بهترنشه میشه 0.0001 ....
مسئله سخت هست و بدون دراپ فکرکنم سری اورفیت بشه برای همین قرار دادم
recurrent_dropout رو حذف کردم داره الان ترین میشه انگار گیر از این بود !
چرا با وجود recurrent_dropout اصلا بهتر نمیشه جواب ؟!
کم هم قرار دادم
برای lstm  مقدار recurrent_dropout رو 0.6 دادم بازم بنده ی خدا تونست همگرا بشه :D
فکر کردم این از lstmقوی تر هست