تعیین حافظه مورد نیاز برای طراحی و آموزش شبکه عصبی کانولوشنی

Question

سلام من باید یک شبکه عصبی کانولوشنی رو در caffe طراحی و اجرا کنم و میخوام از یک دیتاست 700 مگابایتی برای آموزش شبکه استفاده کنم..چطور میشه حافظه مورد نیاز برای طراحی و آموزش این شبکه رو تعیین کرد تا gpu متناسب با اون تهیه بشه؟
چون خیلی دیدم که دوستان در مبحث یادگیری عمیق و آموزش شبکشون ارور کمبود حافظه میگیرن، حالا میخوام بدونم چطور با توجه به ساختار شبکه عصبی و تعداد لایه ها و ... میشه حافظه gpu مورد نیاز برای این شبکه رو قبل از اجرا و آموزش تعیین کرد؟

Answer 1

سلام .
بحث دیتاست اینجا مطرح نیست . چیزی که مطرح هست معماری انتخابی شما، اندازه بچ های ترینینگ و تست شما و اندازه تصاویر ورودی شماست . میشه خیلی راحت یه شبکه ساخت که روی دیتاست کوچیکی مثل cifar10 با 140 150 مگ حجم و اندازه تصاویر 32 در 32 حتی تایتان ایکس با 12 گیگ رم هم کم بیاد.
شما برای اینکه مشکلی در انتخاب معماری و آموزش نداشته باشید حداقل 4 گیگ و اگه فاز تحقیقاتی هستید 6 گیگ تا 8 گیگ پیشنهاد میشه.
کمتر برید به مشکل میخورید و دستتون بسته میشه و نمیتونید از معماری های سنگین تر و دقیقتر این حوزه استفاده کنید.
از طرف دیگه برای مواجه نشدن با کمبود حافظه راهکارهایی مثل معماری های سبکتر استفاده کنید.
همینطور میتونید با کاهش اندازه بچ مصرف حافظه رو بشدت کاهش بدید . در مرحله بعدی هم کاهش توده ورودی رو میتونید انجام بدید .
در انتها هم کفی یک برآورد از حجم مصرفی شبکه (فقط داده بین لایه ها) موقع آموزش ارائه میده میتونید اونم ببینید .
* نکته : در کفی اطلاعات مربوط به فضای اشغال شده توسط پارامترها و گرادیان ها و ... محاسبه نمیشه . پس صرفا یک دید کلی نسبت به داده های بین لایه ای هست و استفاده خاص دیگه ای نداره .