الگوریتم یادگیری تولیدکننده وزن های نامنفی

Question

با سلام و احترام به همه دوستان و بزرگواران

یک شبکه عصبی feed-forward با دو لایه عمیق را در نظر بگیرید. همه توابع فعالسازی مورد استفاده در این شبکه یکنوای غیر نزولی و نامنفی هستند. به دنبال روشی هستم که بتوانم وزن های این شبکه عصبی را بیابم به نحوی که تمامی آنها نامنفی باشند. با توجه به این توضیحات، از چه رویکردی میتوانم استفاده نمایم:
!- آیا یک الگوریتم یادگیری برای که این محدودیت را برآورده نماید، وجود دارد؟
2- آیا با دستکاری یک الگوریتم یادگیری موجود می توانم کاری کنم که وزن های نامنفی تولید شوند؟
3- رویکرد پیشنهادی شما.....

لطفا در پاسخ به سوالات مشخص کنید، اولویت شما استفاده از چه رویکردی است و چه روشی قابل استفاده است. ممنون میشم اگر شفاف و واضح جواب بدهید.

تشکر از راهنمایی های شما دوستان

Comments

سلام.
تشکر میکنم از پاسخ شما. حتما به این مقاله نگاه می اندازم. ازتون درخواست دارم تا در صورت امکان، بیشتر در مورد اینکه یک شبکه عمیق چه خصوصیات دیگری دارد؟ من فکر میکردم تعداد لایه های مخفی باید حداقل برابر دو باشد و تابع فعالسازی غیرخطی باشد.

تشکر

---

سلام . بله فرمایش شما صحیحه از این صحبت ها بوده و هنوز هم هست که به چند لایه عمیق گفته میشه و به چند لایه گفته نمیشه . قدیم تر ها واقعا اینطور بود منتها الان نه. با پیدایش معماری هایی که بین 8 تا صدها لایه داشتن دیگه به این ها عمیق گفته نمیشه عموما(ممکنه هنوز افرادی باشن که این ایده رو داشته باشن). علاوه بر اون رفتارهایی در معماری های عمیق مشترک هست که در معماری های کم عمق دیده نمیشه مثل vanishing gradient یا بحث لوکال مینیمم های مختلف در معماری های کم عمق هست که در معماری های عمیق نداریم و بجاش بحث saddle point ها رو داریم و مواردی از این دست. ما اینجا هم بنظرم سوالهایی در این زمینه داشتیم . در گوگل گروپ قدیمی مون هم داشتیم : https://groups.google.com/forum/#!forum/irandeeplearning
ببینید اگر چیزی که مدنظرتون بود رو دریافت کردید که فبها اگر نه میتونید یک سوال جدید بپرسید تا من یا سایرین اگر چیزی بلد بودیم و اطلاع داشتیم خدمتتون عرض کنیم .

---

سلام
از راهنمایی هاتون تشکر میکنم. خیلی خوب و جامع بود. ممنونم.