خطا هنگام ذخیره snapshot در caffe

Question

با عرض سلام و خسته نباشید
موقع اموزش شبکه alexnet در caffe وقتی چند تکرار میره و میخواد snapshot و ذخیره کنه با خطای زیر مواجه میشم و هر چی سرچ کردم جوابی پیدا نکردم .
البته مثلا اگر تنظیم کنم که هر پنج تکراری یه خروجی اسنپشات بده بعد از پندتا توی تکرار مثلا 25 ام خطا میده .
log رو توی لینک زیر کپی کردم ممنون میشم راهنمایی کنین
https://pastebin.com/B3FxRkbj

Comments

نمیدونم . من تا بحال برخورد نداشتم . شاید یه باگ کفی باشه . شما کل لاگ ترینینگ رو بی زحمت بزارید من یه نگاه دیگه بندازم.

---

روی یه سیستم دیگه و با یه دیتای دیگه هم امتحان کردم و این ارور رو موقع ذخیره اسنپ شات میده . ممکنه دلیلش این باشه که  loss  فانکشن به یه حد مطلوبی نرسیده و واسه همون نمیتونه اسنپ شات بگیره یا نه ارتباطی به مقدار  loss  نداره ؟ حدس دیگه ای ک میزنم تفاوت مقدارهای  بچ سایز تست و test-iter  این مدل با مدلهای دیگه که تست کردم و خروجی گرفتم هست .اگر مثلا 500 تصویر valid  داریم ، بچ سایز تست و پنجاه و test=iter  رو برابر 10 میذاریم ک حاصلضربشون بشه 500 درسته ؟؟
این خروجی لاگ هست خیلی ممنونم
https://pastebin.com/YFbaprqg

---

سلام . نه این خطا ربطی به لاس شما نداره . خطایی که میگیرید به احتمال خیلی زیاد اگه باگ کفی نباشه من احتمال میدم بخاطر فضای ذخیره سازی یا دسترسی باشه تو لینوکس.  در مورد بچ سایز هم باید بگم که ربطی به خطا نباید داشته باشه. چون پروسه ترینینگ داره انجام میشه و فقط موقع سیو کردن کرش میکنه . محاسبه شما هم صحیح هست. همیشه اندازه بچ ضرب در تعداد تست ایتر باید دقیقا مساوی اندازه ولیدیشن ست یا تست ست شما باشه.
من لاگ شما رو دیدم اما نصفه نیمه بود. بخش سالورش مشخص نبود

Answer 1

حدسی که من میزنم اینه که ممکنه هارد دیسک شما حافظه خالی به مقدار کافی نداره و وقتی میخواد سیو کنه مشکل پیش میاد

Comments

نه فضا به اندازه کافی هست

---

چقدر فضای خالی روی اون درایو دارین و هر اسنپ شات چقدر فضا میگیره؟

---

32 گیگ فضا هست و هر اسنپ شات در حد چند مگ بیشتر نیست

---

خیلی عجیبه. ارور اش کد اش شماره نداره؟ منظورم اونی که در کامند لاین می نویسه نه لوگ کافه