NVIDIA的Tensor内核支不支持不同的数据维度存储顺序？

NVIDIA系统架构师齐家兴：

当前对Tensor Core来说，比较底层的可以通过WMMA的API进行使用，在这里支持两种不同矩阵的存储格式，另外可以通过cuBLAS和cuDNN，如果问题是指卷积的数据维度，那么在cuDNN里边的卷积层的API是支持两种不同的HWC以及NCHW的，这两种不同的数据维度的存储顺序目前是都支持的。

问题来源