活动内容
AI 部署达到全新速度
推理与 AI 并存。推理可以帮助在线助手作出即时而相关的响应,帮助医生更快了解疾病并作出更准确的诊断,还可优化我们的购物体验,助力开展强大的新产品设计。推理还有助提升农作物的健康水平,保护野生动植物,甚至为科学家提供外太空探索的全新视野。
放眼各行各业,推理正在转变、加速和改进我们的工作内容和工作方式,最终惠及我们的生活。
以下是一些案例:
【 NVIDIA & 阿里巴巴】打破商业壁垒
阿里巴巴集团每天要处理 83 亿个翻译 请求,来支持国际商业贸易。
阿里巴巴使用神经网络机器翻译 (NMT) 显著改善了翻译质量,但增加了延迟和计算成本。
为补其不足并加速 NMT 在线服务,阿里巴巴部署了 NVIDIA Tesla GPU,处理的请求数量增加 3 倍的同时,响应速度缩短到原来的 1/3。
【 NVIDIA & 科大讯飞】扩大服务规模, 降低总体拥有成本 (TCO)
语音翻译帮助游客、企业、学生等群体克服了语言障碍。科大讯⻜希望扩展其普通话的语音服务,支持多种口音和方言。
鉴于此,该公司将其推理运算迁移到 Tesla GPU 和 TensorRT,扩大了对 GPU 的采用。
科大讯⻜现可处理的并发请求数量已增加为原来的 10 倍,准确率提高了 20%,而且 TCO 运营成本也已降低 20%。
【 NVIDIA & 京东】提供合家欢内容
网络视频流量不断增加,这就要求运营企业加大监控力度,以过滤不当内容。
京东在 Tesla P40 GPU 上使用 NVIDIA DeepStream SDK 和 TensorRT 来识别和过滤全高清直播视频的 1000 个频道。
该公司在使用推理来过滤视频内容时, 吞吐量已增至 20 倍,而搭载 Tesla 的每个服务器则可同时处理 20 个视频。
【 NVIDIA & 微信】大规模提供 实时语音服务
作为一家用戶规模约达 10 亿的中国社交媒体领先平台,微信希望提升其语音转文本服务。
但在部署新的声学模型时,其 CPU-only 服务器却无法有效运行新版本。
于是微信部署了搭载 Tesla P4 GPU 推理加速器的服务器,由此将语音推理吞吐量提高 2.5 倍,模型内准确率提升 20%,同时仍将延迟估算保持在较低水平。