Deprecated: Function get_magic_quotes_gpc() is deprecated in /home/ustmbir/domains/deeplearning.ir/public_html/qa/qa-include/qa-base.php on line 1177
اموزش شبکه با دیتا ست بزرگ و مشکل حافظه - پرسش و پاسخ یادگیری عمیق
به بخش پرسش و پاسخ یادگیری عمیق خوش آمدید,
این نسخه آزمایشی سایت است.
لطفا به نکات زیر توجه کنید:
  • برای ارتباط با مدیران میتوانید از صفحه مدیران اقدام کنید.
  • سوال و جواب ها باید به زبان فارسی باشند. استفاده از زبان انگلیسی یا فینگلیش برای پاسخ دادن مجاز نیست.
  • لطفا بعد از پرسش سوال لینک سوال خود را در گرو تلگرام (Iran Deep Learning Group) معرفی کنید تا سریعتر به جواب برسید. برای دسترسی به آخرین لینک از منابع یادگیری استفاده کنید
  • لطفا بجای عکس از متن استفاده کنید. اگر متون طولانی هستند از سایت pastebin.com برای اپلود استفاده کرده و لینک حاصل را در سوال خود قرار دهید. برای قرار دادن تصویر ، از بخش ارسال تصویر ادیتور سایت استفاده کنید.
  • بعد از دریافت پاسخ، بهترین پاسخ را از طریق کلیک بر روی علامت تیک انتخاب کنید
  • اگر با خطا و یا مشکلی مواجه شدید از بخش تماس با ما در انتهای صفحه و یا ایمیل Coderx7@gmail.com موضوع را اطلاع دهید.

با تشکر

دسته بندی ها

0 امتیاز

سلام دوستان شبکه ی cnn ای را میخاهم با حدود یک میلیون عکس ترین کنم ولی قبل از ترین برروی عکس ها باید یک سری پیش پردازش شامل ریسایز و grayscale کردن، صورت بگیرد ولی موقعه لود کردن عکس ها با مشکل حافظه مواجه میشوم.میخاهم عکس ها که همه در یک فولدر هستند را به صورت بچ بچ فراخوانی کنم با تابع generator هم نتوانستم کارکنم.اگر کسی تجربه ی رفع این مشکل رو داره ممنون میشم منو راهنمایی کنه.

توسط (107 امتیاز)

1 پاسخ

+1 امتیاز

سلام
در صورتی که از فریم ورکهایی مثل Keras استفاده می کنید، هنگام کار با Generator گزینه flow from directory موجود هست که به جای لود کردن همه تصاویر، بچ ها از فولدر مورد نظر خونده می شن و مشکل حافظه در دیتاست های بزرگ حل میشه

https://keras.io/preprocessing/image

در بقیه کتابخونه ها، در صورتی که از این موضوع به طور مستقیم پشتیبانی نمی کنند، خودتون می تونید به راحتی ایده flow from directory رو پیاده کنید یا اینکه آموزش رو به چند مرحله تقسیم کنید (یک epoch خودش می شه چندتا زیر epoch )، و در هر قسمت، یه تیکه از دیتا ها رو لود کنید(قبلش می تونید دیتا ها رو به فولدرهای مختلف تقسیم بندی کنید)

توسط (1.6k امتیاز)
ممنون از پاسختون،امکانش هست راهنمایی کنیدبا استفاده از این متد لیبل هرعکس چطور مشخص میشه .واینکه چطور میتونم ریسایز کردن واینکه عکسهام رو به ارایه ی نامپای تبدیل کنم و به شبکه بدم رو انجام بدم.
در تعریف ImageDataGenerator این گزینه ها مشخص می شه
و بعدش از این generator ی که تعریف کنید ، تابع flow from directory رو صدا می زنید
خودش از فولدر مدنظر داده ها رو می خونه که حاوی چند تا فولدر دیگه باید باشه (داده های هر کلاس باید در یک فولدرمجزا باشه)
و عملیات های مختلف مثل translation و rotation یا هرچیزی دیگه ای مشخص کردید رو اعمال می کنه و یه batch بهتون می ده
همون لینکی که گذاشتم، در این مورد 2 تا مثال خوب داره
...