NCCL允许用户自己改拓扑吗?
NVIDIA 中国区HPC/DL 解决方案架构师程帅:
NCCL可以去让用户去设定拓扑,但一般建议不要这样去做,建议用NCCL自我发现的一个拓扑去测试。因为一般对一种特定的系统,比如说8卡的V100,它的拓扑连接也没有什么选择,例如3条物理的环,你再怎么组合、选择,都是在3个物理环里面去选择去做。