提升GPU利用率的关键点是哪些?
NVIDIA中国首席解决方案架构师罗华平:
实际上对于GPU利用率的提升,我们可以分两方面来讲:第一个方面,我们刚才在介绍MPS的时候也介绍到了,如果我们现在发射的Kernel的计算量不大,那么这时候我们可以采用多Kernel并行发射的方式,比如利用MPS技术,使得多个Kernel同时发射到GPU中去,提升GPU的利用率;另一方面,如果单一的Kernel计算量就很大,可以把GPU的资源几乎占满,对于这种情况下我们就需要去考虑基于GPU以及基于Cuda的一些优化方法。比如我们知道常用的一些优化方法有:基于存储的优化、基于指令的优化以及基于延迟的优化。具体的要去利用一些工具,比如Visual Profiler 以及其它的工具进行性能的剖析,然后在我们知道性能受限的因素之后,再进行一个具体的优化。