لود کردن یه csv بزرگ !

Question

سلام
وقتی دیتا زیاد میشه با کمبود حافظه مواجه میشیم
حالا برای تصویر fit generator هست
برای یه فایل csv بزرگ چه راه حلی وجود داره ؟
1- دستور خاصی داریم که کل دیتا رو لود نکنه ؟
2- یا باید هر instance رو داخل یک فایل ذخیره کرد و دونه دونه خوند با fit generator ?!!!!
با تشکر

Answer 1

سلام
توی keras خیلی راحت میشه generator خودتون رو بر اساس داده هایی که دارید تعریف کنید
که مثلا هر دفعه چند تا دیتاها رو از فایل csv بخونه و یه mini batch به شما بده
نمونه customize کردن generator برای داده های مختلف هم هست که به نسبت جامع هم توضیح دادن

https://stanford.edu/~shervine/blog/keras-how-to-generate-data-on-the-fly.html

یا

https://gist.github.com/ikki407/771426542eb36afeb56ce8b163560a4c

یه بنده خدایی هم توی stackoverflow یه سوال مشابه شما پرسیده، هنوز مثل اینکه کسی جوابش رو نداده اما کدی که گذاشته رو ببینید خیلی شبیه اون چیزیه که شما نیاز دارید

https://stackoverflow.com/questions/45859277/how-to-batch-train-a-cnn-with-keras-fit-generator