是否有比较方便的工具来判断单个kernel对GPU的利用情况?如果单个kernel能用上GPU的全部资源,采用多流似乎也不能带来性能提升。 。
NVIDIA资深并行计算技术经理池哲贵:
一个比较粗糙的方法是用DEIVER AGX平台上面一个工具 tegrastats,它可以打印出所用CPU、GPU的使用情况,其中包含GPU的利用率,如果想更详细的去看是用Insight System 或Nsight Compute去profile你的应用,查看它对GPU的利用率和kernel的利用率,若你一个kernel就把GPU占满了,多个stream对性能的改善不会有太大的好处。