-
请问MPS在推理中是否有使用价值，刚在您提到相对多流，性能仅有一点点提升。实际场景中，多流并发处理带来的价值是否更大？
NVIDIA数据科学家徐添豪: 多流在多线程情况下能很好的集成进原来的系统... 全文＞ -
短视频推荐算法引擎应用场景中，如何解决多卡负载利用率低的瓶颈？硬件还是软件优化？举例最好
NVIDIA数据科学家徐添豪: 我的理解它是分2块，第一块是在硬件上，就是在CPU和GP... 全文＞
-
UGC内容视频审核场景下，如何利用T4的新特性提升效率？（如果能用具体算法举例就更好了）
NVIDIA数据科学家徐添豪: 从算法的角度来说，主要是通过量化和低精度方面去做软件方面... 全文＞
-
短视频AI推理, 个人理解有时需要多个模型串联执行,
如何有效做到低延迟？模型部署的时候如何做model accelaration？（硬件还是软件）
NVIDIA数据科学家徐添豪: 第一块是当你视频解码出来之后，prime其实可以并发的去... 全文＞
-
多进程使用单张T4推理时，是否可以用MPS提升T4利用率和latency性能？
NVIDIA数据科学家徐添豪: 如果是多进程的情况下，完全可以用MPS来做。对于MPS，... 全文＞
-
量化在nlp问题上应用怎样？
NVIDIA数据科学家徐添豪: 对于NLP问题，我举一个现在非常火的例子，就是关于BER... 全文＞
-
短视频场景中的广告推荐，如何利用T4的特性来设计和优化算法以提升推理效率？如何有针对冷启动场景的案例就更好了？
NVIDIA数据科学家徐添豪: 在整个pipeline当中视频会去被模型理解，然后输出一... 全文＞
-
GPU有没有一些debug技巧
NVIDIA数据科学家徐添豪: 借用一些工具Nsight和Nsightcompute来帮... 全文＞