با این اطلاعات نمیشه به شکل دقیق مشکل را تشخیص داد اما مشکل شما احتمالا مربوط میشه به استفاده از تابع فعال سازی Relu. تابع Relu برای ورودی های کمتر از ۰ دارای مقدار ۰ و شیب ۰ هست به همین دلیل امکان داره نورون شما توسط Solver وزن منفی بگیره و به همین دلیل ورودی هاش منفی بشه پس همیشه خروجی صفر خواهد داشت و به علت شیب صفر توانایی خروج از این حالت را ندارد. به این حالت اصطلاحا مرگ نورون ها گفته میشه و نورون به طور کلی در تعلیم شبکه غیرفعال میشه.
برای حل این مشکل افزونه هایی برای Relu بوجود آمدند مثل Leaky Relu یا Parametric Relu.
اولی که در شکل بالا مشخص هست برای مقادیر منفی شیب کمی بوجود میاره تا درصورتی که نورون ورودی منفی پیدا کرد به کلی از بین نره و هنوز هم توانایی انتقال شیب کم و مشارکت در تعلیم را داشته باشه.
دومی شکل پیشرفته تری از Leaky Relu هست که شیب را برای مقادیر منفی توسط پارامتری تعیین میکنه که این پارامتر در هنگام تعلیم شبکه عصبی یادگرفته میشه.
البته راه حل های جزیی دیگه ای هم برای حل مشکل شما وجود داره مثل استفاده از learning rate پایین تر.