سلام
1. بله اینکه شبکه رو دارید با fp32 اجرا میکنید یا fp16 (نمایانگر دقت اعشاری استفاده شده) یا از چه فریم ورکی استفاده میکنید همه اینها در میزان فضای اشغالی حافظه کارت گرافیک دخیل هستند. بعضی ها مثل کفی خیلی غیربهینه هستند از نظر مصرف حافظه و بعضی ها مثل تورچ خیلی تو این زمینه خوب کار میکنند.
2.پارامترهای شبکه همون متغییرها هستن. و فضایی که اونها اشغال میکنن همون فضایی هست موقع تعریف متغییرها بهشون اختصاص داده میشه. مثل هر برنامه دیگه ای ، کدی که تشکیل دهنده شبکه شماست دارای متغیرهای اصلی و فرعی مختلفه که وقتی مقداردهی بشن قائدتا فضایی بهشون اختصاص داده میشه.
بله بچ سایز 256 یعنی در هر تکرار بصورت تصادفی 256 عکس رو با هم از دیتاست انتخاب میکنه و به شبکه ارائه میکنه
سوال سوم : حافظه GPU وظیفه بخشی از کار رو بعهده داره ، وظیفه موازی سازی محاسبات اعشاری و ماترسی بقیه کدهای مربوط به فریم ورک و عملیات جانبی روی سی پی یو اجرا میشه . اگر هم کلا از GPU استفاده نشه خب مشخصه همه لود میشن روی ram سیستم . دقت کنید که موقع ترین روی GPU هم باز اطلاعات اول روی رم سیستم قرار میگیره و بعد به رم GPU ارائه میشه و بین رم سیستم و gpu انتقال داده جریان داره .
رم سیستم بطور خاص موقع کش کردن تصاویر یا داده های بعدی دیتاست و یا انجام پیش پردازش ها میتونه خیلی تاثیرگذار باشه.