سلام
اگر از دستگاهی استفاده می کنید که شامل بیش از یک کارت گرافیکی هست باید NCLL را نصب بکنید که بتواند از تمام GPU ها استفاده کند.
اگر کارت گرافیکی های شما از معماری های پاسکال و یا ولتا هستند از ورژن 2 استفاده نمایید
https://developer.nvidia.com/nccl