在NVSwitch下,多个GPU连接成了一个“大GPU”,程序中还需要显式给每个物理GPU分配负载呢?还是只需给这个大GPU分配负载,系统自动在各物理GPU间分配任务?
NVIDIA中国区工程及解决方案总监赖俊杰:
在CUDA程序里,在写程序时还是要控制各个GPU的。