如何利用桌面显卡合理的搭建多视频实时深度网络分析系统
西安交通大学人工智能与机器人研究所博士陶小语:
消费卡(像txp, tv)在搭建分析平台时并无太大区别,需要事先测算视频分析系统各模块的资源占用情况,来设计并行方案。比如,选用tensorflow 自带的Faster R-CNN代码做推理,单卡GPU利用率大概只有40%,那么可以增加batch大小或视频路数把GPU利用率占满。同时要衡量CPU利用率和存储,来调整任务分配。不同的框架在存储和资源管理上是有差异的。像Caffe这种跑一个ResNet就会占满12G显存的,除非预先算好BN-scale-relu,否则多路是比较难的。轻量级的,像mxnet,单卡跑满8路没压力的,这个需要具体任务/具体框架具体分析。
登录查看完整答案