ارتباط دادن مکان ابجکت بعلاوه پیدا کردن میزان تطابق

Question

با سلام
من روی یک یادگیری عمیق مربوط به پیدا کردن اشیا و نوع اشیا در یک تصویر هستم و تعداد ابجکت های من بیشتر از دوتا می باشد. میخواستم علاوه بر پیدا کردن مکان این ابجکت ها نوع ابجکت رو هم به من بده.
ولی متاسفانه نمیدونم چطور دوتا خروجی متفاوت رو از یک شبکه یادگیری عمیق تولید کنم و چطور گرادیانت انها را روی شبکه اعمال کنم .
اگر منبعی هم دارید برای من نشان دهید.
خیلی ممنون

Comments

ایا من می توانم یک شبکه ایجاد کنم و خروجی به صورت زیر را از شبکه بخوام
 x,y,w,h ,label که 5 تا خروجی بهم بده یکی مکان شی و یکی هم لیبیل شی که اموزش ببینه؟ لطفا نظرتون رو بگید.

Answer 1

با سلام
بستگی داره شما چی میخوایید. در حوزه تشخیص اشیا با یادگیری عمیق روش های زیادی پیشنهاد شده اند. خیلی از روش ها با تولید bounding box ها و سپس ارائه این باکس ها به شبکه های کانولوشنی کلاس شی رو مشخص می کنند. در واقع به طور مثال این باکس ها به صورت رندم در روی تصویر تولید شده و سپس کلاس هر کدام از این باکس ها با ورود به شبکه های کانولوشنی تعیین می شوند مثل روش های RCNN یا faster RCNN و ..... .
تعداد اشیا آنقدر مسئله مهمی به حساب نمی آید بلکه جای اشیا و نوع آن چالش اصلی کار محسوب می شود پیشنهاد میکنم روش yolo object detection رو نگاه کنید.

Comments

ممنون از جوابتون.
میخواستم بپرسم ایا دو شبکه جدا هستند؟ یعنی یه بار باکس مشخص می شود و سپس این باکس به یک شبکه کانولوشن دیگه داده میشه تا تشخیص بده؟ و اینکه چطور گرادیانت اعمال میشه در اموزش یعنی خروجی کدام را به عنوان یک برگشت استفاده میکنیم.

---

بعضی از روش ها مثل RCNN  دو شبکه جدا هستند اما توی yolo فقط یک شبکه استفاده می شود

Answer 2

سلام . جناب sayyad توضیحات خوبی دارن .
در تکمیل صحبتهای ایشون بنظر میاد مساله شما یه مساله object detection هست که تا بحال شیوه های مختلفی برای حلش در حوزه یادگیری عمیق ارائه شده . هم شیوه هایی که بخشی از پروسه بصورت offline انجام میشده و هم شیوه هایی که بصورت online و end to end کار دیتکشن (شناسایی شی و مشخص کردن مکان شی) انجام میشه
روشهای اخیر اکثرا end to end هستن .
این سوال رو ببینید