ارتباط یادگیری عمیق و یادگیری تقویتی

Question

با سلام
بنده دانشجوی ارشد برق کنترل هستم و میخواستم که رو کاربرد یادگیری عمیق در مهندسی کنترل کار کنم اما کاربردهای کنترلی یادگیری عمیق بشدت محدوده ولی مباحثی مثل یادگیری تقویتی و یادگیری تقویتی عمیق به نسبت تو زمینه کنترل بیشتر استفاده شدن حالا سوال من اینجاست که اگر من بخوام تو زمینه یادگیری تقویتی عمیق کار کنم باید اول یادگیری عمیق رو بلد باشم یا اصلا این دو تا به هم ربطی ندارن ؟

Answer 1

سلام
یادگیری تقویتی (reinforcement learning) یکی از روش های یادگیری ماشین است (مانند یادگیری با نظارت و بدون نظارت)
و هرکدوم از این روش ها میتونن به صورت یادگیری عمیق کار بشن. بنابراین فکر میکنم باید برید سراغ مطالعه ی یادگیری تقویتی که می تواند زیر مجموعه ای از deep باشد.

Answer 2

با سلام
در مورد استفاده از deep learning در یادگیری تقویتی در این لینک قسمت Neural Networks and Deep Reinforcement Learning میتونه مفید باشه:

Where do neural networks fit in ?....
Neural networks are the agent that learns to map state-action pairs to rewards
In reinforcement learning, given an image that represents a state, a convolutional net can rank the actions possible to perform in that state; for example, it might predict that running right will return 5 points, jumping 7, and running left none

برای شروع میتونید از آموزشهای موجود تو اینترنت مثل Udacity medium و ... استفاده کنید

در مورد کنترل هم DeepMPC و این مقاله رو نگاه کنید شاید مفید باشه

Answer 3

سلام
توی یه نگاه سطح بالا می تونید بگید ربطی بهم ندارن
چرا؟ چون میشه به شبکه (چه عمیق چه کم عمق و ....) به عنوان یه function approximator نگاه کرد
مثلا اینکه شما می خواید یه تابع پیدا کنید که وضعیت مفصل های ربات رو بگیره و نیروی مورد نیاز مثلا برای راه رفتن به هر مفصل رو بر گردونه
این تابع رو چطوری پیدا کنیم؟ یه کار اینه که جاش یه شبکه بذاریم که این تابع رو برامون تقریب بزنه
تا اینجاش ربط خاصی به RL نداشته و برای هر جا که قراره شما یه تابع پیچیده داشته باشید میشه یه شبکه گذاشت

RL اینجا وارد میشه که حالا چطوری پارامترهای این شبکه رو یاد بگیریم. توی حالت هایی مثل supervised learning که جواب رو می دونیم، سیگنال آموزش رو مستقیم داریم اما مثلا اینجا که نمی دونیم دقیق نیرو باید توی هر حالت چی باشه، میشه از ایده های RL استفاده کرد. اینجاس که این دو بزرگوار با هم دیدار می کنن

البته از دید RL هم میشه بررسی کرد که مثلا توی فلان تکنیک ها ما می تونیم وضعیت هر state رو توی یه جدول ذخیره کنیم. حالا اگه فضای state ها خیلی بزرگ باشه که نمیشه همه اش رو توی جدول ذخیره کرد. این جدول رو با چی تخمین بزنیم؟ مثلا با شبکه عصبی