NVIDIA与阿里、讯飞、微信等加速深度学习推理案【附下载】

NVIDIA与阿里、讯飞、微信等加速深度学习推理案【附下载】

时间:2020年03月13日 11:21
 
 
活动内容
AI 部署达到全新速度
 
推理与 AI 并存。推理可以帮助在线助手作出即时而相关的响应,帮助医生更快了解疾病并作出更准确的诊断,还可优化我们的购物体验,助力开展强大的新产品设计。推理还有助提升农作物的健康水平,保护野生动植物,甚至为科学家提供外太空探索的全新视野。
 
放眼各行各业,推理正在转变、加速和改进我们的工作内容和工作方式,最终惠及我们的生活。
 
NVIDIA 技术正在让这一切成为可能。从数据中心到边缘节点乃至物联 网 (IoT) 设备,NVIDIA GPU 加速解决方案为全球跨学科用例提供了领 先的推理能力。
 
以下是一些案例:
 
【 NVIDIA & 阿里巴巴】打破商业壁垒
 
阿里巴巴集团每天要处理 83 亿个翻译 请求,来支持国际商业贸易。
 
阿里巴巴使用神经网络机器翻译 (NMT) 显著改善了翻译质量,但增加了延迟和计算成本。
 
为补其不足并加速 NMT 在线服务,阿里巴巴部署了 NVIDIA Tesla GPU,处理的请求数量增加 3 倍的同时,响应速度缩短到原来的 1/3。
 
 NVIDIA & 科大讯飞】扩大服务规模, 降低总体拥有成本 (TCO)
 
语音翻译帮助游客、企业、学生等群体克服了语言障碍。科大讯⻜希望扩展其普通话的语音服务,支持多种口音和方言。
 
鉴于此,该公司将其推理运算迁移到 Tesla GPU 和 TensorRT,扩大了对 GPU 的采用。
 
科大讯⻜现可处理的并发请求数量已增加为原来的 10 倍,准确率提高了 20%,而且 TCO 运营成本也已降低 20%。
 
 NVIDIA & 京东】提供合家欢内容
 
网络视频流量不断增加,这就要求运营企业加大监控力度,以过滤不当内容。
 
京东在 Tesla P40 GPU 上使用 NVIDIA DeepStream SDK 和 TensorRT 来识别和过滤全高清直播视频的 1000 个频道。
 
该公司在使用推理来过滤视频内容时, 吞吐量已增至 20 倍,而搭载 Tesla 的每个服务器则可同时处理 20 个视频。
 
 NVIDIA & 微信】大规模提供 实时语音服务
 
作为一家用戶规模约达 10 亿的中国社交媒体领先平台,微信希望提升其语音转文本服务。
 
但在部署新的声学模型时,其 CPU-only 服务器却无法有效运行新版本。
 
于是微信部署了搭载 Tesla P4 GPU 推理加速器的服务器,由此将语音推理吞吐量提高 2.5 倍,模型内准确率提升 20%,同时仍将延迟估算保持在较低水平。
订阅英伟达 NVIDIA 技术月刊
输入电子邮件,订阅 NVIDIA 加速计算或深度学习电子月刊
订阅