امکان پردازش موازی با gpu‌ های ضعیف تر

Question

سلام دوستان
آیا امکان این وجود داره به جای استفاده از یک کارت گرافیک با قدرت پردازشی بالا از دوتا یا چندتا کارت گرافیک با قدرت پایین تر به صورت موازی استفاده کنیم ؟
منظور از کارت گرافیک با قدرت پایین تر کارت گرافیک هایی است که شاید به تنهایی امکان پردازش یک شبکه عمیق با حداقل ۶-7 لایه رو نداشته باشن مثلا کارتهای رده های 700-800 یا شاید پایین تر !

Comments

سلام. اگر کارتهای شما انویدیا باشند و از cuda  پشتیبانی کنند باید بشه.
توی مقاله ImageNet Classification with Deep Convolutional Neural Networks از Alex Krizhevsky این کار رو انجام دادند. ابزاری هم که استفاده کردند (خودشون توسعه دادن) cuda-convnet هست که نسخه جدیدش روی گیتهاب هست.
برای سایر کارتها فکر میکنم اول باید ابزاری که استفاده میکنید از openclپشتیبانی داشته باشه.

Answer 1

سلام.
بله هم Caffe و هم Tensorflow این قابلیت رو دارن . Deeplearning4J هم بنظرم میاد که این قابلیت رو داشت. تورچ رو مطمئن نیستم .
دقت کنید کارتهای شما در صورت پشتیبانی از cudnn 3 و 4 بشدت میتونن مفید باشن و خصوصا cudnn5 2.5 برابر cudnn 4 افزایش سرعت داره (البته Caffe هنوز پشتیبانی کامل ازش نداره ولی ورژن nvidia اون در لینوکس پشتیبانی کامل از cudnn5 رو داره).

Answer 2

در ادامه پاسخ آقای حسن پور، Torch کاملا پشتیبانی می کنه و از آخرین نسخه های CUDNN هم پشتیبانی می کنه. حتی از کفه هم بازدهی بالاتری داره ولی یکم از کفه پیچیده تره. نکته مهمی که هستش پشتیبانی کارت های گرافیک شما از بحث cuda memory sharing هستش. اگر این پشتیبانی وجود داشته باشه مساله ای که شما به دنبالش هستین قابل حل است. اما اگر این امکان وجود نداشته باشه فریم ورک ها تنها موازی سازی batch ها رو انجام می دن و تنها فرآیند آموزش سریعتر می شه.