首页 > 最新资讯 > NVIDIA A100 GPU和TensorRT助力火山引擎实现10万+事物识别
NVIDIA A100 GPU和TensorRT助力火山引擎实现10万+事物识别

NVIDIA A100 GPU和TensorRT助力火山引擎实现10万+事物识别

2021-07-03 09:54

#人工智能 #深度学习


火山引擎通过NVIDIA A100 GPUTensorRT的推理框架实现多种图像识别功能的快速训练,以及大幅加速线上服务计算,最终实现了10万+事物的识别能力。

火山引擎是字节跳动面向企业的智能科技品牌,基于大数据人工智能和基础服务等技术能力,为企业提供系统化的全链路解决方案,助力企业务实地创新,给企业带来持续、快速增长。

为了帮助企业打造从技术基础设施到上层应用的全链路解决方案,火山引擎搭建出一套独创的智能增长技术体系,依托统一基础服务、技术中台、智能应用和行业解决方案四层架构,面向企业级市场推出了数十款技术产品与服务,从开发、应用到运营,满足不同类型企业在生命周期不同阶段业务发展的核心需求。

火山拍照识别功能,为用户提供以手机拍照作为输入的便捷认知和搜索功能,包括了常见动植物,地标建筑,商品等10万+事物的识别。

大规模细粒度图像识别,本身存在巨大的挑战:

训练任务繁重持久,要实现10万以上事物的识别,训练图片量达到千万级别,需要非常强悍的训练平台支持,才能够在限定的开发时间内迭代出有效的大参数量识别模型。

作为用户产品,模型上线推理预测的时候,可能面临高频海量的计算请求,服务需要在限量计算资源的情况下尽量多的覆盖识别请求,所以对于推理速度要求很高。

为解决以上挑战,火山引擎选择了采用NVIDIA A100 GPU的训练平台和基于TensorRT的推理框架,助力其实现10万以上的事物识别。

基于NVIDIAA100 GPU计算平台为其提供超大显存FLOPS,将百万级别图片训练的每次迭代训练周期从5天缩短至3天左右,满足其迭代速度需求,极大缩短了项目开发周期。

模型服务推理采用TensorRT推理框架,助力火山引擎线上服务速度提升了4至5倍,节省大量计算资源,保证了服务的实时性和可用性。

相关新闻