به طور کلی هر موقع شبکه بیش برازش می کند یا داده کم است و یا شبکه بیش از حد پیچیده است .یعنی داده های ما در مقابل تعداد متغیرها که همان وزنها هستند کم است. بنا براین برای فرار از بیش برازش اگر داده به اندازه کافی داریم باید از پیچیدگی شبکه کاسته شود به بیان دیگر تعداد نرون‌ها کاهش یابند و یا اینکه تعداد داده افزایش یابد. ولی اگر تعداد داده ثابت باشد می توان گفت افزایش تعداد نرون‌ها موجب بیش برازش می شود.