多GPU如何做交互来处理大的3D块?
希氏异构人工智能首席科学家周斌:
关于多GPU进行交互,可以通过RDMA的方式来进行交互,如果底层系统支持得比较好,比如InfiniBand和RDMA可以有效地结合。一般来说,我们会把大的3D块切分成若干个小的体数据,这些体数据交界的地方,我们称之为边界。边界上要有一些重合以防止越界。一般情况,我们会进行体数据内部小块的独立传输,边界进行交互,需要注意的技巧是进行数据传输计算的并发掩藏。