شرح عملیات backpropagation در شبکه عصبی کانولوشنی

Question

سلام...ممنون میشم به طور خلاصه لطف کنید و عملیات backpropagation و محاسبه گرادیانت ها و محاسبه مقدار تابع خطا رو در شبکه عصبی کانولوشنی بیان کنید ...با تشکر

Answer 1

سلام
اول از همه به این نکته دقت بکنید که backprop دقیقا مثل این میمونه که شما خطا رو توی لایه آخر حساب کنید و حالا فرض کنید کل شبکه رو از آخر به اول نگاه میکنیم. یعنی خطاهای نورونهای لایه خروجی میشن ورودی این شبکه معکوس شده
بعدش هم این ورودی راه میوفته از لایه آخر میاد تا لایه اول (دقیقا شبیه مرحله feedforward با این تفاوت که دیگه activation (غیرخطی) نداریم که میشه همون linear و به علاوه، برای هر نورون یه گرادیانی هم ضرب میشه)

وقتی به این دید نگاه بکنید گرادیان تمامی لایه‌ها رو میتونید ساده تحلیل کنید. یعنی الان توی backprop، وقتی به یه لایه کانولوشن می رسیم، لایه که همونه، فقط داریم برعکس توی شبکه حرکت می‌کنیم، پس باید توی انتشار خطا هم یه عملیاتی شبیه کانولوشن انجام بشه ، فقط نه روی ویژگی‌های لایه پایینتر، بلکه روی خطا‌های لایه بالاتر
و بعدش هم گرادیان تابع activation توی هر نقطه روی ضرب می‌کنیم در نتیجه

اگه فرمول مشتق نسبت به کانولوشن رو بنویسید چیزایی که می‌گم رو واضح تر متوجه میشید
برای کمک هم میتونید این لینک استفاده کنید که کامل همه مراحل رو توضیح داده

http://jefkine.com/general/2016/09/05/backpropagation-in-convolutional-neural-networks

Comments

سلام...خیلی ممنونم ازتون برای پاسخ گویی...لطف کردید
حقیقتش من این لینکی که فرستاده بودید رو نگاه کردم و از فرمول هاش اصلا سر در نیاوردم ، از طرفی نیاز خیلی شدیدی به این مطلب دارم...آیا شما مطلب دیگه یا فارسی میشناسید که به من معرفی کنید تا از روی اون مطالعه کنم؟ متشکرم

---

خواهش میکنم
نه متاسفانه منبع فارسی سراغ ندارم
اما بر خلاف ظاهر فرمولها که اولش شاید گویا نباشه، چند بار که از اول تا آخر فرمولها رو حتی شده به صورت کپی از روی سایت، برای خودتون بنویسید، یه جایی اون قضیه آهااااان اتفاق می افته D: و می بینید که اتفاقا همه چیز خیلی هم سر راست و حتی یه جوری بدیهیه
این لینک رو هم ببینید
https://www.slideshare.net/kuwajima/cnnbp

---

انشاله همینطور باشه که فرمودید
باز هم ازتون واقعا متشکرم :)