请问MPS在推理中是否有使用价值，刚在您提到相对多流，性能仅有一点点提升。实际场景中，多流并发处理带来的价值是否更大？
NVIDIA数据科学家徐添豪:
多流在多线程情况下能很好的集成进原来的系统
问题来源
短视频场景的AI应用推理与优化｜NVIDIA专场第35讲
分享至：