سلام
اون پیامی که میگیرید اهمیتی نداره . دلیل اینکه برای شما چیزی رسم نمیشه بخاطر مشکل دار بودن لاگ شماست.
من یک نگاهی به لاگ شما انداختم . چندتا موضوع رو باید رعایت کنید.
1.هر لاگ باید مربوط به شروع و خاتمه یک دوره ترینینگ باشه و اینطور نباید باشه که چندتا لاگ پشت سر هم رو سیو کنید و با این اسکریپت بخوایید خروجی بگیرید .
میتونید هرکدوم رو جداگانه تحت یک فایل با پسوند.log ذخیره کنید و بعد اسکریپت رو که اجرا کنید خودکار هر فایلی با پسوند .log اطرافش باشه اون رو رسم میکنه.
پس بهتره بجای دستوری که برای pip کردن خروجی به فایل استفاده میکنید رو بصورت زیر تغییر بدید :
caffe train --solver=$solver_file 2>&1 | tee log.txt
- من دیدم در بین لاگها همچین چیزایی وجود داره :
I1003 09:26:46.823643 5140 solver.cpp:218] Iteration 139480 (25.9442 iter/s, 0.770887s/20
iters), loss = 0.0242569
I1003 09:26:46.823643 5140 solver.cpp:237
] Train net output #0: loss = 0.0242
578 (* 1 = 0.0242578 loss)
I1003 09:26:46.823643 5140 sgd_solver.cpp:105] Iteration 139480, lr = 1e-10
I1003 09:26:47.589243 5140 solver.cpp:218] Iteration 139500 (25.9235 iter/s, 0.7715s/20
iters), loss = 0.126188
این نباید به این شکل باشه باید مثل بقیه بصورت زیر درستش کنید :
I1003 09:26:46.823643 5140 solver.cpp:218] Iteration 139480 (25.9442 iter/s, 0.770887s/20 iters), loss = 0.0242569
I1003 09:26:46.823643 5140 solver.cpp:237] Train net output #0: loss = 0.0242578 (* 1 = 0.0242578 loss)
I1003 09:26:46.823643 5140 sgd_solver.cpp:105] Iteration 139480, lr = 1e-10
I1003 09:26:47.589243 5140 solver.cpp:218] Iteration 139500 (25.9235 iter/s, 0.7715s/20 iters), loss = 0.126188
این ناهماهنگی ها رو برطرف کنید نباید مشکلی داشته باشید.
آپدیت :
فایل لاگی که فرستادید (اینجا) مشکلش در encoding فایل بود. فایل شما باید انکودینگ UTF-8 تا مشکلی پیش نیاد.
وقتی این کار رو انجام بدید میبینید که بدرستی نمودار شما رسم میشه مثل زیر :