margin based بودن deeplearning

Question

آیا deeplearning یک روش margin based است؟ مثلا می توان با decision boundry می توان دیتا ها را از هم جدا کرد؟
لطفا راهنمایی بفرمایید.

Answer 1

با سلام
البته نمیدونم حرفم دقیقا درست باشه یا نه دوستان تایید کنند. هدف دیپ لرنینگ انتقال یا به اصطلاح map کردن داده های خام به یک فضایی است که در آنجا بتوان داده های مربوط به کلاس های مختلف را راحتتر جدا کرد. در واقع این هدف طبقه بندی کننده هست که داده ها رو با decision boundry جدا میکنه نه هدف دیپ لرنینگ. چون به نظرم استخراج ویژگی های اتوماتیک مهمترین تعریف دیپ لرنینگ هست. و این ویژگی ها بعدا میتوانند وارد طبقه بندی کننده ای مثل svm بشند که margin based هست. بنابراین هدف دیپ لرنینگ استخراج ویژگی های robustی هست که بتونند به صورت ساده تر کلاس های مختلف رو با decision boundry تفکیک کنند.

Comments

سلام . این دیدگاه صحیحه ;)

Answer 2

سلام.
اگه سوالتون رو درست متوجه شده باشم فکر کنم پاسخ زیر مفید باشه:
اگه از دیپ لرنینگ برای طبقه بندی استفاده کنید و در نتیجه در لایه آخر احتمالا از لایه fully connectedاستفاده کنید این لایه آخر نقش طبقه بند خطی را دارد و میتوان decision boundary رو بدست آورد. البته توجه کنید که بردار ویژگی شما خروجی شبکه قبل از لایه آخر fully connected میباشد یعنی ورودی fully connected آخر. در نتیجه در این حالت میتوان با decision boundary رو بدست آورد.
برای ویژوالیز کردن میتونید لایه قبل از فولی کانکتد رو به 2 بعد کاهش بدید یا از روش t-SNE استفاده کنید.

Answer 3

بسیار ممنونم از پاسخ دوستان.
میشه لطف کنید در مورد اضافه کردن یک طبقه بندی کننده به deep learning هم راهنمایی بفرمایید؟ مثلا svm نتایج نهایی بدست آمده از یادگیری عمیق میشه ورودیش یا طبقه بندی کننده در بطن یادگیری عمیق قرار میگیره؟

Comments

طبقه بندی کننده در بطن الگوریتم های یادگیری عمیق قرار نمیگیره بلکه به اصطلاح در لایه آخر روی شبکه (on top of) قرار میگیره. شبکه استخراج ویژگی رو انجام میده و این ویژگی ها مستقیم وارد طبقه بندی میشوند چنانچه شبکه کانولوشنی باشه این دو قسمت با هم آموزش داده میشوند. من خودم ابتدا یک شبکه رو آموزش دادم (با طبقه بندی کننده softmax) و سپس با 200 نمونه استخراج ویژگی کردم (هر نمونه یک بردار 100 تایی ویژگی تولید میکرد) و با این 200 نمونه یک طبقه بندی کننده لاجستیک رگرسیون اداپتیو رو آموزش دادم. نتیجه مناسبی رو هم گرفتم

---

سلام . لطفا این سوال رو(که سوال خوبی هم هست) بصورت جداگانه بپرسید. ایده اینه که هر سوال یک جواب مشخص داشته باشه تا باعث سردرگمی نشه و همینطور براحتی قابل ارجاع و پیگیری باشه .
جواب رو هم در همون سوال جدید لطفا بدید.
پیشاپیش ممنونم.