سلام. پیش پردازش های مطرح و نرمالی که انجام میشه zero mean هست و همینطور zero mean+unit variance که در هر دو اینها ورودی دارای مقادیر منفی هست. از طرف دیگه الگوریتم های مقداردهی اولیه که نقش خیلی اساسی دارن هم تا جایی که من میدونم برای کار کرد بهتر فرضشون وجود داده zero mean شده است.
همه اینها یعنی اگر از الگوریتم مقداردهی وزن مناسبی مثل xavier یا امثالهم استفاده کنید و دیتاتون رو از میانگین کم کنید مشکلی در ترین و... ندارید .