Stacked Sparse Autoencoder

Question

با سلام،

هدف من طبقه بندی تصاویر با Stacked Sparse Autoenocder ها می باشد. ممنون می شوم در صورت آگاهی سوالات زیر را پاسخ دهید:

1- پارامترهای Autoencoder نظیر L2WeightRegularization، SparsityRegularization و SparsityProportion به چه صورت انتخاب می شوند؟
2- با پارامترهای اولیه به صورت زیر چرا دقت طبقه بندی از عمق لایه دو به بعد صفر می شود؟
L2WeightRegularization = 0.001
SparsityRegularization = 1
SparsityProportion = 0.05
3- با توجه به هدف یادگیری عمیق که بیانگر افزایش دقت طبقه بندی با افزایش عمق لایه می‌باشد، دلیل عکس جواب گرفتن اینجانب چه می تواند باشد؟متاسفانه بالاترین دقت طبقه بندی در عمق لایه اول حاصل می گردد (عملا آن دقت نیز از الگوریتم های پایه نظیر ماشین های بردار پشتیبان و نزدیکترین همسایگی کمتر می باشد).

متشکرم

Comments

سلام . من خودم زیاد کار نکردم با اتوکانکودر اما در کل بطور رندوم عمق رو زیاد کردن و توجه نداشتن به پارامترهای دیگه باعث گرفتن دقت خوب نمیشن . عمق مثل تعداد پارامتر یه فاکتور خنثی هست و فقط زمانی که بصورت هدفدار استفاده بشه کارایی مناسب رو ارایه میکنه.
نکته مهم دیگه قدرت weight decay شماست. ست کردن مقدار زیاد اون باعث اندرفیت شبکه شما میشه. اگه میبنید دقت خوبی نمیگیرید یا لاس کاهش پیدا نمیکنه مقدار رگیولاریزشنتون رو کاهش بدید.
مقداردهی اولیه وزن ها هم خیلی تاثیر داره و باید حواستون بهش باشه.
برای تست میتونید از معماری نمونه که در مثال ام نیست هست استفاده کنید و نتیجه اون رو ملاک مقایسه با تنظیمات خودتون قرار بدید.