خب این بخشی از متن پایان نامه من بودکه در مورد drop out خیلی خلاصه توضیح داده شده و بنظرم برای شما هم روشن کنه که داستان از چه قراره. :
از انجایی که یک لایه تماما متصل بیشترین تعداد پارامترها را بخود اختصاص میدهد, در نتیجه در معرض بیش برازش خواهد بود. روش حذف تصادفی به منظور جلوگیری از بیش برازش معرفی شد و نحوه کار آن به اینصورت است که در هر مرحله از آموزش, هر نورون یا با احتمال 1-p (از شبکه) بیرون انداخته شده و یا با احتمال p نگه داشته میشود, بطوریکه نهایتا یک شبکه کاهش داده شده باقی بماند. یالهای ورودی و خروجی به یک نود بیرون انداخته شده نیز حذف میشوند.اینگونه تنها شبکه کاهش یافته بر روی داده ها در آن مرحله آموزش خواهد دید.(بعد از این کار) نودهای حذف شده سپس به همراه وزنهای سابق آنها دوباره به درون شبکه وارد میشوند.
در مراحل آموزشی, احتمال اینکه یک نود مخفی حفظ شود معمولا 0.5 است. برای نودهای ورودی , احتمال نگه داری باید بمراتب بیشتر باشد. بصورت شهودی این یعنی اینکه با حذف نودهای ورودی اطلاعات بصورت مستقیم از بین خواهند رفت بنابر این ضروری است که نودهای ورودی دارای احتمال نگه داری بمراتب بیشتری باشند ( یعنی کمتر بیرون انداخته شوند)
در زمان آزمایش, زمانی که آموزش به پایان رسیده است, ما معمولا علاقمندیم که یک نمونه میانگین از تمام 2^n شبکه بیرون انداخته شده را بیابیم . متاسفانه این عمل برای n های بزرگ غیرعملی است. اما ما میتوانیم به تخمینی با استفاده از یک شبکه کامل که تمام خروجی نودهای آن با فاکتور p وزن دار شده اند برسیم . بنابر این مقدار مورد انتظار خروجی هر نود برابر با همان مقدار در مراحل آموزشی خواهد بود. . این بزرگترین دستاورد روش حذف تصادفی است هرچند که این روش بصورت موثر 2^n شبکه عصبی ایجاد میکند و در نتیجه این کار اجازه ترکیب مدل را میدهد و در زمان آزمایش تنها یک شبکه نیاز به تست خواهد داشت.
با پرهیز از آموزش تمامی نودها بر روی تمامی داده ها , روش حذف تصادفی بیش برازش , را در شبکه های عصبی کاهش میدهد.این روش همچنین بصورت چشم گیری باعث افزایش سرعت آموزش میشود. این امر باعث عملی شدن ترکیب مدلها حتی برای شبکه های عصبی عمیق میشود.
در مورد DataAugmentation هم منظور افزایش داده است .و همونطور که میدونید با افزایش داده شما جلوی بیش برازش یا همون اورفیتینگ رو میگیرید چون تعداد پارامترها بسیار زیاده و برای تنظیم مناسب اونها شما به نمونه های زیادی نیاز دارید.اطلاعات بیشتر در این زمینه رو هم میتونید معمولا در هر کتاب یا جزوه یادگیری ماشینی پیدا کنید . کورس ماشین لرنینگ اقای اندرو ان جی هم خیلی قشنگ این موضوع رو باز میکنه که میتونید اون رو هم مطالعه کنید.