NVIDIA数据科学家徐添豪:

其实在数据处理时，其他网络结构也会有一些瓶颈，我们可以借助一些工具。对于找到计算的瓶颈，本身CPU上也会有一系列的工具，framework也会提供一系列工具，比如TensorFlow把自己的timeline打印出来，可以看每个来源的op都占多少时间，通过这个方式可以找到一定的信息。NVIDIA在性能分析工具链上有很多成熟的工具，早期的NVprof或者说集成于VS以及集成于Eclipse的一些工具去做性能分析，那现在会推Nsight和Nsightcompute这两个工具去帮助你找到瓶颈，对于怎么去优化，它也会给出一些建议。