الگوریتم یادگیری تولیدکننده وزن های نامنفی

Question

با سلام و احترام به همه دوستان و بزرگواران

یک شبکه عصبی feed-forward با دو لایه عمیق را در نظر بگیرید. همه توابع فعالسازی مورد استفاده در این شبکه یکنوای غیر نزولی و نامنفی هستند. به دنبال روشی هستم که بتوانم وزن های این شبکه عصبی را بیابم به نحوی که تمامی آنها نامنفی باشند. با توجه به این توضیحات، از چه رویکردی میتوانم استفاده نمایم:
!- آیا یک الگوریتم یادگیری برای که این محدودیت را برآورده نماید، وجود دارد؟
2- آیا با دستکاری یک الگوریتم یادگیری موجود می توانم کاری کنم که وزن های نامنفی تولید شوند؟
3- رویکرد پیشنهادی شما.....

لطفا در پاسخ به سوالات مشخص کنید، اولویت شما استفاده از چه رویکردی است و چه روشی قابل استفاده است. ممنون میشم اگر شفاف و واضح جواب بدهید.

تشکر از راهنمایی های شما دوستان

Comments

سلام دوست عزیز
فرض کنید نمونه های شما بطور خطی جداپذیر و دارای دو ویژگی باشند، و شما میخواید یا یک نورون که دو (w1,w2) هستند و یک بایاس b  این مسئله را حل کنید. پس برای حل مسئله باید چنین خطی را پیدا کنید که دیتای دو کلاس را از هم جدا کند.

w1 * X1 + w2 * X2 + b =0
X1 = - w2/w1 * X2 -b

محدودیتی که مسئله دارد به این صورت است که فقط میتوانید از وزن ها و بایاس مثبت استفاده کنید. پس شیب خط فقط منفی میتواند باشد! و ممکن است شما با خطی با شیب منفی نتوانید مسئله را حل کنید. مگر اینکه شما دیتای ورودی را طوری تغییر دهید که برای جدا کردن آن نیاز به خطی با شیب منفی باشد. (مثلا دیتای ورودی نرمال کنید که نیازی به بایاس نا منفی نباشد و یا ورودی ها را در یک نگاشتی ضرب کنید!!!)

بنظر بنده مسئله شما به مانند مسئله بالاست ممکن است با این شرایط نتوان مسئله را حل کرد!!
در کل سوال جالبیه، اگه به جواب رسیدید مشتاقم که بدونم جواب چی میشه.

---

سلام دوباره به آقای نصیری و دوستان دیگر،
حتما در صورتیکه به جواب شفافی برسم در اختیار شما دوستان قرار می دهم.

توضیح بیشتر:
فرض کنید که خروجی شبکه عمیق که شامل دو لایه مخفی هست، یک عدد به ما می دهد که کیفیت یک شی را مشخص میکند. تنها وزن های بین لایه اول و دوم، و وزن های بین لایه دوم و خروجی یادگیری میشوند و وزن های بین لایه ورودی و لایه مخفی اول را یاد نمی گیریم و از یک سری ویژگی های مربوط به شی استفاده میکنیم (مثلا اگر شی متن باشد، یک ویژگی آن می تواند میزان گوناگونی محتوای آن و یا فراوانی واژگان مهم در آن باشد). چیزی که به نظرم میرسد. در صورتیکه فرض کنیم خروجی این شبکه ژرف یکنوای غیر نزولی و نا منفی است، و ویژگی های مورد استفاده نیز یکنوای غیرنزولی و نامنفی هستند و تمامی ویژگی ها با خروجی تابع همبستگی مثبت دارند، آنگاه یک جواب با وزنهای مثبت قابل یادگیری خواهد بود. نظر شما چیست؟

---

سلام .
دلیل کارتون چیه ؟ چه الزامی دارید که حتما وزنها باید غیرمنفی باشن؟ اگه اینو بگید بهتر میشه راهنماییتون کرد.
شبکه دو لایه یا سه لایه جزو معماری عمیق بحساب نمیان و زیرمجموعه شبکه های عصبی سنتی کم عمق هستن. خصائص مترتب با معماری های عمیق هم در این معماری ها رخ نمیده.

---

سلام.
دلیل این هست که کل این شبکه نقش یک تابع را بازی میکند که تنها در صورت نامنفی بودن وزنهایش یکنوای غیرنزولی (non-decreasing monotone) خواهد بود. بنابراین، برای اینکه این تابع، خصوصیت یکنوایی غیرنزولی بودن را حفظ کند، باید وزن های نامنفی داشته باشد.
معماری شبکه: یک لایه ورودی - دو لایه مخفی - یک لایه خروجی ==> عمیق کم عمق!
لازم به ذکر است که وزن بین لایه ورودی و لایه مخفی اول مشخص است که هر کدام خروجی یک ویژگی مربوط به متن است (مثلا فراوانی واژگان (Term Frequency) مهم هر کدام از جملات). آیا شما به این دلیل که وزن بین لایه ورودی و لایه مخفی اول مشخص است، میگویید عمیق به حساب نمی آید؟ چون بر اساس تعریفی که مطالعه کرده ام، در صورتیکه بیش از یک لایه مخفی داشته باشد، عمیق محسوب می شود.
حال ممکن است این سوال برای شما پیش بیاید که ممکن است اساسا مجموعه وزن مثبتی برای یادگیری وجود نداشته باشد. در این رابطه باید بگویم که میخواهم نشان دهم که از آنجایی که تمامی ویژگی های مورد استفاده به عنوان وزن بین لایه ورودی و لایه مخفی اول با خروجی تابع positively correlated هستند، بنابراین این مجموعه وجود دارد (اثبات وجود).

تشکر.

---

سلام . این نوع شبکه هیچکدوم از خصائص معماری های عمیق رو از خودش بروز نمیده. ربطی به مشخص بودن وزنهای لایه اول وغیره نداره. بحث ماهیت خود شبکه است. در گذشته تعریف شما از عمیق صحیح بوده اما طی چند سال اخیر دیگه اینطور نیست چون ماهیتا خیلی موارد تغییر کردند(مثلا شما اینجا خیلی از رفتارهایی که در شبکه های عمیق رخ میده رو نمیبینید).
در مورد وزن شما میتونید اعمال محدودیت کنید تا صرفا وزنهای مثبت استفاده بشه . فکر میکنم مقاله Monotonic Networks در راستای کار شما باشه . این مقاله رو مطالعه کنید چون من یک نگاهی کردم
 بنظرم اومد شباهت زیادی به کار شما داره.

---

سلام.
تشکر میکنم از پاسخ شما. حتما به این مقاله نگاه می اندازم. ازتون درخواست دارم تا در صورت امکان، بیشتر در مورد اینکه یک شبکه عمیق چه خصوصیات دیگری دارد؟ من فکر میکردم تعداد لایه های مخفی باید حداقل برابر دو باشد و تابع فعالسازی غیرخطی باشد.

تشکر

---

سلام . بله فرمایش شما صحیحه از این صحبت ها بوده و هنوز هم هست که به چند لایه عمیق گفته میشه و به چند لایه گفته نمیشه . قدیم تر ها واقعا اینطور بود منتها الان نه. با پیدایش معماری هایی که بین 8 تا صدها لایه داشتن دیگه به این ها عمیق گفته نمیشه عموما(ممکنه هنوز افرادی باشن که این ایده رو داشته باشن). علاوه بر اون رفتارهایی در معماری های عمیق مشترک هست که در معماری های کم عمق دیده نمیشه مثل vanishing gradient یا بحث لوکال مینیمم های مختلف در معماری های کم عمق هست که در معماری های عمیق نداریم و بجاش بحث saddle point ها رو داریم و مواردی از این دست. ما اینجا هم بنظرم سوالهایی در این زمینه داشتیم . در گوگل گروپ قدیمی مون هم داشتیم : https://groups.google.com/forum/#!forum/irandeeplearning
ببینید اگر چیزی که مدنظرتون بود رو دریافت کردید که فبها اگر نه میتونید یک سوال جدید بپرسید تا من یا سایرین اگر چیزی بلد بودیم و اطلاع داشتیم خدمتتون عرض کنیم .

---

سلام
از راهنمایی هاتون تشکر میکنم. خیلی خوب و جامع بود. ممنونم.