به بخش پرسش و پاسخ یادگیری عمیق خوش آمدید,
این نسخه آزمایشی سایت است.
لطفا به نکات زیر توجه کنید:
  • برای ارتباط با مدیران میتوانید از صفحه مدیران اقدام کنید.
  • سوال و جواب ها باید به زبان فارسی باشند. استفاده از زبان انگلیسی یا فینگلیش برای پاسخ دادن مجاز نیست.
  • لطفا بعد از پرسش سوال لینک سوال خود را در گرو تلگرام (Iran Deep Learning Group) معرفی کنید تا سریعتر به جواب برسید. برای دسترسی به آخرین لینک از منابع یادگیری استفاده کنید
  • لطفا بجای عکس از متن استفاده کنید. اگر متون طولانی هستند از سایت pastebin.com برای اپلود استفاده کرده و لینک حاصل را در سوال خود قرار دهید. برای قرار دادن تصویر ، از بخش ارسال تصویر ادیتور سایت استفاده کنید.
  • بعد از دریافت پاسخ، بهترین پاسخ را از طریق کلیک بر روی علامت تیک انتخاب کنید
  • اگر با خطا و یا مشکلی مواجه شدید از بخش تماس با ما در انتهای صفحه و یا ایمیل Coderx7@gmail.com موضوع را اطلاع دهید.

با تشکر

0 امتیاز

سلام
ایا ممکن برای بنده کمی این مسئله روشنتر کنید که چرا در اینجا برای فرار از نقطه زینی نقطه پرش بعدی را مینیمم محلی قرار داده است؟
سپاسگزارم

سوال شده توسط (138 امتیاز)
سلام.ببخشید امکانش هست قسمتی از متن که به این موضوع اشاره کرده رو بگید؟
برای مثال توجه کنید به قسمت هایی که عبارت Theorem(Informal) وجود دارد.

1 پاسخ

0 امتیاز
 
بهترین پاسخ

سلام
اگه دقت کنید اونجا اومده که

  1. در معماری های عمیق مینیم های محلی زیادی وجود دارن که مقادیرشون بسیار
    نزدیک به مینیمم سراسری هست و بنابر این پیدا کردن یه مینمم محلی کفایت
    میکنه.
  2. پیدا کردن مینیمم های محلی یه مساله np -hard هست .
  3. در این معماری ها ما تعداد زیادی نقاط saddle point داریم
  4. الگوریتمهایی رو مثال زده که در عمل بخاطر سربار زیادی که دارن عملی نیستن . پس میرسیم به اینکه آیا میشه با داشتن گرادیانت از saddle point ها فرار کرد؟
    برای جواب به این سوال مثال توپ رو زد و عنوان کرده که نقاط saddle point خیلی ناپایدار هستن برای همین اگه یک توپ رو در یک نقطه زینی به قول شما بزاریم با یه تغییر کوچیک به احتمال زیاد سقوط میکنه.(در یک نقطه محلی)
  5. در این معماری ها ما تعداد زیادی نقاط saddle point داریم که با کمی تغییر در اون میشه وارد یکی از این مینیمم های محلی شد.
    و وارد شدن به یک مینیمم محلی در اینجا یعنی رسیدن به یک جواب.
پاسخ داده شده توسط (4.2k امتیاز)
انتخاب شده توسط
سلام سپاسگزارم از پاسخ خوبتون نه تنها این مورد بعضی از مقالات خودشون درگیر انواع سدل پوینت ها کردند بنام های strict saddle ,generate saddle که نوع جنریت سدل پوینت ها بیشتر شایع بود در دیپ ممکن نظرتون راجع به این مورد بدونم اینکه  ایا برای طراحی یا حتی بهینه سازی یک الگوریتم بهینه سازی در دیپ ایا می بایست به نوع سدل پوینت هم دقت داشت؟
سلام .
من وارد انواع saddle point ها نشدم . معمولا کسایی که پایه ریاضی خیلی قوی ای دارن و بیشتر تو حوزه الگوریتم ها کار میکنن سراغ این بحثها میرن . متاسفانه من مطالعه ای در این حد تو این زمینه تا بحال نداشتم.
ولی قائدتا برای بهینه سازی الگوریتم ها بله اطلاع داشتن از اینکه با چی طرف هستید و خصائصش چی هست خیلی میتونه کمک کنه . تو همین مقاله هم اتفاقا به این مساله اشاره کرده به نوعی و اون قضیه ها و روشها یک نمونه ساده از مساله ای هست که شما خودتون اشاره کردید بهش. آشنایی با ماهیت اونها کمک میکنه که شما بدونید چه راه حلهایی در اختیار میتونید داشته باشید و بعد با توجه به ماهیت مساله آیا قابلیت تعمیم پذیری برای مساله شما رو دارن یا نه (مثلا دوتا الگوریتم اینجا عملی نبود بخاطر سرباز خیلی زیاد ) .
سلام
طبق نتایج مطالعاتی که داشتم هرچه عمق لایه ها در شبکه عصبی افزایش پیدا میکند تعداد سدل ها زیاد میشوند و از طرفی loss function مربوط به لوکال ها خیلی شبیه گلوبال می شود بنابراین پیدا کردن یک لوکال بقدر کافی خوبه به همین دلیل که اکثر مقالات هدفشون پرش به لوکال بجای گلوبال در دیپ البته این نتیجه در ادامه پاسخ خوب و کامل جناب حسن پور ضمیمه می شود.
...