trtis中怎么测试我的模型最大性能？

NVIDIA高级系统架构师胡麟:

TensorRT Inference Server通过Prometheus metrics和Status API接口把性能数据都开放出来了，另外可以用perf_client实际测量跑的模型的性能。

问题来源