اشکال در تبدیل داده به فرمت lmdb (دریافت خطای Could not open or find file )

Question

سلام
من میخواستم داده هام رو به فرمت lmdb تبدیل کنم همونطوریکه در سایت توضیح داده بودین مراحل رو انجام دادم ووقتی دستور تبدیل رو در command زدم در مقصد پوشه مربوطه ایجاد شدواین پیامها در کامند نشون داده شدن:

D:\caffe-windows\Build\x64\Release>convert_imageset.exe --resize_height=112 --re
size_width=28 --shuffle C:\Users\user\Desktop\codddde\train C:\Users\user\Deskto
p\codddde\train\labels_training.txt C:\Users\user\Desktop\codddde\Roghayeh_train
_lmdb
I0617 19:09:02.235661  8140 convert_imageset.cpp:86] Shuffling data
I0617 19:09:02.235661  8140 common.cpp:36] System entropy source not available,
using fallback algorithm to generate seed instead.
I0617 19:09:02.235661  8140 convert_imageset.cpp:89] A total of 0 images.
I0617 19:09:02.235661  8140 db_lmdb.cpp:40] Opened lmdb C:\Users\user\Desktop\co
dddde\Roghayeh_train_lmdb

D:\caffe-windows\Build\x64\Release>

من فک میکنم که اینکار درست انجام نشده(اونجایی که نوشته a total of 0 images)، از کجا میتونییم متوجه بشیم که داده ها درست تبدیل شدن؟

Answer 1

سلام
بله درست انجام نشده چون هیچ تصویری پردازش نشده .
هر وقت با پیام A total of 0 images مواجه میشید معمولا مسیر تصاویر شما اشتباه هست .(ممکنه نام فایل نامعتبر باشه یا کلا بخاطر وجود space در مسیر، به مشکل برخورده باشه) مسیری که میدید و خصوصا اون فایل لیبل رو خوب دقت کنید و مسیرهاش رو چک کنید که بصورت نسبی باشن و معتبر.
ضمنا اون پوشه ها رو هم پاک کنید قبل از اینکه دوباره اقدام کنید به تبدیل
در مورد پیام Could not open or find file که دریافت کردید اینجا مشکل از لیبل شما بود. همونطور که در کامنت عرض کردم:" یه مشکل فایل لیبل شما داشت (البته چندتا) .
1 نکته اش این بود که بین فایلها خط های اضافی (blank) رو باید حذف میکردید و 2 از طرفی بعد از تمامی خطوط باید lfcr میخورد (یعنی هر خط بعدش یه \n\r باید میداشت. دلیل این مشکل هم بخاطر یه باگ تو کدی بود که من برای ایجاد لیبل نوشته بودم که البته کد رو تصحیح کردم.
برای اینکه ببینید منظور من چیه به تصویر زیر نگاه کنید که فایل لیبل شما رو نشون میده . دقت کنید که اگه همین فایل رو در نوت پد ویندوز باز کنید هیچ مشکلی نمیبینید ! اما وقتی با نوتپد++ باز کنید به اشکالش پی میبرید :

تصویر بزرگتر
برای برطرف کردن این مشکل شما میتونید از طریق خود notepad++ از منو ادیت و بعد از منو Line operations گزینه remove empty lines (containing blank characters) این مشکل رو برطرف کنید.

Comments

ممنون از پاسخگوییتون
این مشکل به این دلیل بود که تصاویر من با فرمتjpg  بود و در کد لیبل گذاری شما فرمت png در نظر گرفته شده بود، که من به این مساله دقت نکرده بودم.پس از رفع این مشکل ولیبل گذاری تصاویرکاملا مطابق با روند و کپی دستورات اعلام شده در سایت با خطای زیردر مورد تمام تصاویر مواجه میشوم واین مشکل را نتوانستم حل کنم. بخشی ازپیغام خطا:
E0619 12:57:48.044767  9440 io.cpp:89] Could not open or find file examples\MyDa
3\014855.jpg
E0619 12:57:48.044767  9440 io.cpp:89] Could not open or find file examples\MyDa
2\008836.jpg
E0619 12:57:48.044767  9440 io.cpp:89] Could not open or find file examples\MyDa
2\000113.jpg
E0619 12:57:48.044767  9440 io.cpp:89] Could not open or find file examples\MyDa
2\013621.jpg
E0619 12:57:48.044767  9440 io.cpp:89] Could not open or find file examples\MyDa
7\001545.jpg
E0619 12:57:48.044767  9440 io.cpp:89] Could not open or find file examples\MyDa
0\009104.jpg
که این مساله قبلا در سوالی با این لینک http://qa.deeplearning.ir/462/%D8%AE%D8%B7%D8%A7-%D8%AF%D8%B1-%D8%A7%DB%8C%D8%AC%D8%A7%D8%AF-%D8%AF%DB%8C%D8%AA%D8%A7%D8%B3%D8%AA-%D8%A8%D8%A7-%D9%81%D8%B1%D9%85%D8%AA-lmdb?show=462#q462
مطرح شده ولی پاسخی نبود.
ممنون میشم اگه راهنمایی بفرمایید.

---

سلام . مسیر نسبی شما صحیح هست؟ یعنی`examples\MyDa3\014855.jpg`  قابل دسترس هست بصورت معمول؟ یعنی لیبل شما دقیقا در کنار پوشه تصاویر شما هست که مسیرهای نسبی در اون معتبر باشه؟
دستور رو به چه صورت میزنید؟ قدم هایی که انجام میدید رو لطفا بنویسد تا ببینم جایی از قلم افتاده یا خیر.
لطف کنید ساختار تصاویر و پوشه ها رو هم نشون بدید ببینم .

---

یه پوشه تو examples  روت caffe ایجاد کردم وپوشه تصاویر تست و ترین رو تو اون گذاشتم (D:\caffe-windows\examples\MyDataSet\train)سایزتصاویرم 112*28 هست (تصاویر mnist رو بصورت 4 تایی وعمودی concat کردم). پوشه ترین شامل 10 پوشه(کلاس) هست. بااستفاده از کد شما فایل لیبل گذاری این تصاویر داخل پوشه ترین ایجاد کردم آدرس تصاویر روبه هر دوصورت زیر، آدرس کامل تصویر (D:\caffe-windows\examples\MyDataSet\train\0\000015.jpg 0)  یا (0\000015.jpg 0) داخل این فایل ایجاد کردم که هیچکدام جواب نداد. سپس دستور زیر رو در کامند ویندو در روت caffe اجرا کردم:
Build\x64\Release\convert_imageset.exe --resize_height=112 --resize_width=28 --shuffle examples\MyDataSet\train examples\MyDataSet\train\labels_training.txt examples\MyDataSet\mydataset_train_lmdb

پوشه mydataset_train_lmdb در مقصد مورد نظر ایجاد میشود ولی همونطوریکه گفتم برای تمام تصاویر خطای مذکور چاپ میشود.
نمونه ای از تصویرم:
http://upload.ustmb.ir/uploads/19_171497877196781.png
 تصویری از پوشه ها
http://upload.ustmb.ir/uploads/19_17149787719682.png
ضمنا همونطوریکه فرموده بودین تصاویرم رو با آدرسی که تو فایل تکست لیبلها بود تست کردم قابل دسترسی بود.

---

سلام .
تو دستوراتی که دارید میزنید آدرس پوشه و فایل لیبل رو مستقیم بدید
یعنی اینطور :
Build\x64\Release\convert_imageset.exe --resize_height=112 --resize_width=28 --shuffle D:\caffe-windows\examples\MyDataSet\train\ D:\caffe-windows\examples\MyDataSet\train\labels_training.txt D:\caffe-windows\examples\MyDataSet\mydataset_train_lmdb

باید برطرف بشه مشکلتون.

---

دوباره همون خطا روداد و برطرف نشد.
در هر صورت ممنون از وقتی که گذاشتین.

---

فایل لیبلتون رو لطفا بفرستید.

---

ببخشید نتونستم از طریق سایت آپلود کنم، براتون میل کردم.

---

سلام
دیدم . یه مشکل فایل لیبل شما داشت (البته چندتا) .
1 نکته اش این بود که بین فایلها خط های اضافی (blank) رو باید حذف میکردید  و 2 از طرفی بعد از تمامی خطوط باید crlf میخورد (یعنی هر خط بعدش یه \r\n باید میداشت. من تو Notepad++ چک کردم و این مشکلاتش رو برطرف که کردم براحتی انجام شد.
فایلها رو براتون تو ایمیل ارسال میکنم .

---

ممنون از دقت نظر وپیگیریتون.