在利用GPU做异构并行的时候,PCIE等通信接口会严重影响性能。这个问题有什么好的解决办法吗?
NVIDIA高级系统架构师易成:
我们在做多GPU计算时,会涉及到GPU之间的通讯,在P100以前,我们只能通过PCI-E通信,从P100开始,nvidia 推出了nvlink版本的GPU,GPU之间通过nvlink通信。现在V100采用的nvlink2.0,双向总带宽可以达到300GB/s,远高于现在PCI-E 3.0的32GB/s的双向总带宽。这样就能很好解决这个瓶颈问题
问题来源