与GPU用于一般的HPC相比,GPU用于Deep Learning有啥不同?
英伟达技术总监赖俊杰:
其实没有什么本质的不同。我们完全可以把Deep Learning的workload,不管是training还是inference看成是HPC的应用。这也是为什么现在做DL的infrastructure一般都采用的HPC模式。像通信接口采用MPI。这里面追求的核心是performance,而不是扩展性,容错性,等等。