استفاده از کولب

Question

با سلام من قصد دارم برنامه شناسایی گوینده با cnn یا lstm رو در کولب اموزش بدم
دیتا ستم حدود ۳۰ گیگ هست که در گوگل درایوم دارمش. البته خود سایتی که میخاستم ازش دیتاست بردارم امکان انتقال به درایوم رو داده و من اپلودی نکردم.
حالا مشکل اینجاست که این حجم از دیتارو میتونم در کولب استفاده کنم؟ مثلا میتونم با generator تکه تکه از دیتاستم لود کنم و برای مشکل زمان هم بعد چند تکرار مدل رو ذخیره و بعدا اموزش رو روی همون مدل ادامه بدم؟

Answer 1

سلام
من با دیتاستی به این حجم کار نکردم اما فک میکنم هر سه سوال جوابش بله هست
شاید بهتر باشه قبلش راجع به tf.record و tf.data.dataset یک سرچی بکنید چون کار رو راحتتر میکنه
وقتی رو GPU میزارید حجم قابل توجهی رو در اختیار قرار میده

Comments

بله با این روش دیگه نیازی به generator نیست ممنون بابت راهنمایی
و به نظرتون چه مدت طول میکشه همچین مدلی اموزش ببینه
من دسترسی به کامپیوتر قوی ندارم و این کار باید برای پایان نامه ارشد پیاده بشه. وگرنه که باید موضوع پایان نامم تغییر کنه
این کار شدنیه ایا؟ و اینکه راه حل دیگه ای وجود نداره؟

---

بسته به مدل داره ولی به نظرم یک پروژه مشابه روی گیت هاب پیدا کنید و یکبار باهاش ترین کنین تا زمانش دستتون بیاد چون کولب بعد یک مدتی قطع میکنه
میتونید از شرکتهای داخلی یا خارجی هم کرایه کنین ولی هزینش برای طولانی مدت زیاد میشه
شاید بتونید با مشورت استاد پروژه رو ببرید به سمتی که روی موبایل پیاده بشه تا مدل کوچیک بشه و آموزشش سریعتر بشه دیتای کمتری هم میخواد