چرا بهبود سخت افزاری در افزایش دقت الگوریتم در تنسور فلو موثر است؟

Question

اگر به صورت حاشیه ای از خطای اوت اف مموری جان سالم به در برده باشید پیغام زیر را در اپک اول مشاهده می کنید:

: W tensorflow/core/common_runtime/bfc_allocator.cc:217] Allocator (GPU_0_bfc) ran out of memory trying to allocate 3.45GiB. The caller indicates that this is not a failure, but may mean that there could be performance gains if more memory is available

این وارنینگ در حقیقت خاطر نشان میکند که افزایش مموری افزای پرفورمنس را به دنبال خواهد داشت...
ایا میتوان گفت وابستگی مموری و سایز بچ منجر به این اتفاق خواهد شد؟

Answer 1

این واژه «Performance» لزوما به معنی «دقت نهایی الگوریتم» نیستش. احتمالا منظور بهینگی روند کار باشه مثل افزایش سرعت در محاسبات و ...
اما جاهایی که افزایش حافظه می تونه روی دقت نهایی تاثیر گذار باشه جاهایی هست که ابعاد Mini-Batch روی اونها تاثیر گذار هستش مثل لایه های Batch-Normalization که در صورت کم بودن Mini-Batch این لایه نمی تونه نرمالیزیشن مناسبی انجام بده. برای اطلاعات بیشتر می تونید از مقاله زیر کمک بگیرید:

Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour: https://arxiv.org/abs/1706.02677