گرادیان شبکه عصبی با یک لایه ی مخفی

Question

با عرض سلام.
در یک شبکه عصبی با یک لایه ی مخفی dz1 که معادلات در تصویر زیر موجود میباشید چگونه محاسبه شد؟
(معادلات زیر مربوط به دوره ی آقای اندرو ان جی می باشد)

Comments

سلام
سلام . کجاش مشکل دارید ؟ از اول تا اخر نمیدونید چه اتفاقی داره میوفته و توضیح نیاز دارید ؟

---

سلام ممنونم از شما.
همه جا رو متوجه شدم (مشتق ها) بغیر از dz1 . یعنی میدونم w1 , b1 چه رابطه ای با dz1 دارند(طبق عکس بالا و قاعده مشتق). ولی dz1 چطور محاسبه میشه؟!

---

سلام. این  مقدار da1 رو داره ضرب میکنه در مقدار مشتق z1 . با مشتق z1 که نباید مشکلی داشته باشید .  بزارید از اخر بیاییم جلو. اول مشتق رو نسبت به a2 بدست میاریم. a2 به z2 وابسته است پس مشتق z2 رو بر حسب a2 بدست میاریم . حالا خود z2 وابسته به W2a1 هست و مشتق اینا رو حساب کنیم میشه اینطور مثلا
 dw2 = a1 و da1=W2  برای بایاس هم به همین شکل که میشه 1 (حالا چون بر اساس رابطه chain rule هست با مقدار مشتق قبلی ضرب میشه . یعنی در dz2 )
حالا خود a1 بر اساس z1 هست باید بدست بیاریم میشه dz2/da1*da1/dz1 .  مشتق اولی که  مشخصه برای دومی هم بخاطر قانون chain rule داریم dz2*W2 که قبلش دیدیم.
شما از اخر شروع کنید بیایید اول بدون اینکه به چیزی اینجا نگاه کنید خودتونرو کاغذ همه مراحل رو بنویسید کاملا مشخص میشه براتون.

---

خیلی ممنونم.
راجع به دیتا ست هم یک سوالی داشتم. که نمیدونم یک سوال جداگانه مطرح کنم یا نه. و اون اینه که:
از چه دیتا ستی استفاده کنم که بتونم کدای کورسرا رو ، رو سیستم خودم تست کنم؟ همون دیتا ستی که تو این دوره هست (گربه) موجوده؟

Answer 1

در مورد سوالی که در کامنت مطرح کرده اید. روشی که عرض خواهم کرد هم کد و هم دیتا رو براتون توی یه فایل زیپ تو هابی که خود کرسرا برای کدزنی در اختیارتون قرار می ده، درست می کنه. اول برید جوپیتر نوت بوکی که تو کرسرا هست برای تمرینات رو باز کنید، بعد از فایل، open رو بزنید. بعد برید به پوشه ی اصلی که تمرین این هفته رو کامل داره. بعد یه نوت بوک جدید خودتون درست کنید و کد زیر رو وارد کنید و اجرا کنید. کد می آد تو اون پوشه ای که هستید هر چی داره رو زیپ می کنه. روی فایل زیپ کلیک کنید و دانلود.

import os
import zipfile

def zipdir(path, ziph, zipfilename, DEBUG = 0):
    for root, dirs, files in os.walk(path):
        for file in files:
            if DEBUG > 0:
                print(root + '/' + file)
                
            if zipfilename == file:
                if DEBUG > 0:
                    print("skip")
                continue 
                
            ziph.write(os.path.join(root, file))

def packit():
    rootdirname = '.'
    zipfilename = os.getcwd().split(os.sep)[-1]+'.zip'
    if os.path.isfile(zipfilename):
        os.remove(zipfilename)
    zipf = zipfile.ZipFile(zipfilename, 'w', zipfile.ZIP_DEFLATED)
    zipdir(rootdirname, zipf, zipfilename)
    zipf.close()
    print("Paking done.")
    
packit()

Comments

خیلی ممنون..