استفاده از TFrecords برای خواندن تعداد زیاد داده های در قالب npy (یا راه حل بهتر)

Question

با سلام
من تعداد زیاد فایل npy دارم که هرکدام شامل حدود ۱۲۰۰۰ فریم عکس هستن. تعداد ۴۴۰ تا فایل هست که هرکدام حدود ۵۰۰ مگابایت هست. طبیعتا همه این فایل ها باهم در رم جا نمیشه و برای ورود به شبکه CNN باید جور دیگری خونده بشه. یه پیشنهاد استفاده از TFRecords هستش و بعد استفاده از ماژول Dataset تنسورفلو. ولی متاسفانه با وجود سرچ متوجه نشدم چطور این تعداد فایل رو تبدیل کنم به TFRecords. اگر کسی اطلاع داره و کمک کنه ممنون میشم.
همچنین اگر راه حل دیگه ای هم هست ممنون میشم.
نکته: خروجی به صورت باینری نیست و مسئله Regression با ۱۷ خروجی هست.

Answer 1

سلام دوست عزیز
بنده قبلا تصاویر ورودی رو به فایل tfrecord تبدیل کردم - و از این فایل برای آموزش شبکه استفاده کرده ام. اینم کدش

https://github.com/m-nasiri/tensorflow/tree/master/tfrecord

احتمال زیاد این کد میتونه کمکتون کنه.
- راههای دیکه ای هم هست
0- تبدیل فایل ها یnpy به یک یا چند فایل tfrecord و استفاده از tf.data برای خوندن و فید کردن
1- تبدیل فایل های npy به تصاویر روی هارد و استفاده از tf.data برای خوندن و فید کردن
2- تبدیل فایل ها یnpy به یک یا چند فایل csv و استفاده از tf.data برای خوندن و فید کردن
3- ...

موفق باشید

Comments

سلام
ببخشید من همچنان متاسفانه متوجه نمیشم برای تبدیل.
من تونستم تمام فایل های npy رو به یک فایل با حجم 120 گیگ تبدیل کنم. خروجی هم همینطور. ولی همچنان نمیتونم فایل frames.npy رو به tfrecords تبدیل کنم از اونجایی که توی رم هم جا نمیشه

---

سلام
باتوجه به کدی که بنده در گیت هابم گذاشتم جلو برید هر جاش که مشکل داشتید ب‍پرسید بنده در خدمت هستم

---

من با توجه به کد شما جلو رفتم مشکلی که هست اینه که نه تنها برای هر فایل npy  خیلی طول میکشه، رم هم تا حدود 90 درصد بالا میره که باعث میشه کرنل متوقف و ریستارت بشه. این مشخصات هر فایل هست:
هر فایل با فرمت npy:
12283*150*150*3
هر فایل خروجی:
12283*51