Jarvis简化了交互式对话式AI代理的构建，Merlin提速了数据加载，缩短了训练时间，以改进适用于各类在线业务的推荐系统。

我们都有过在旅途中突然感到饥饿的经历，如果车上的行车助理系统可以根据您的口味推荐附近的餐厅，是不是很棒？

现在，用于对话式AI服务的NVIDIA Jarvis，和用于推荐系统的NVIDIA Merlin已进入公测阶段，任何企业都可以借助NVIDIA GPU系统和软件库来实现这种体验，甚至实现更多。NVIDIA首席执行官黄仁勋先生在10月5日GTC大会上宣布了这一消息。

在当今数字化背景下，对用于语音服务和推荐系统的AI的需求之强烈前所未有。但是，开发工具比较落后，而市场对更高质量语音AI服务的需求正在快速上升。

越来越多的人在家中工作，学习、购物、就医等活动也转移至线上，给各项服务都带来了压力，暴露出用户体验方面的不足。《哈佛商业评论》的一份报告指出，部分呼叫中心的用户等待时间增加了34％，电话投诉量增加了68％。

同时，当前的推荐系统虽然可以实现互联网的“千人千面”，但往往做得不够好。零售推荐系统会推荐最近购买的商品，或继续以令人厌烦的促销广告吸引人们的注意。媒体和娱乐方面的推荐通常大同小异，因为这些系统通常十分粗糙，只是重复过去的推荐或进行相似的推荐。

NVIDIA Jarvis和NVIDIA Merlin可帮助企业探索更大的深度学习模型，并开发更注重细节、更智能的推荐系统。采用基于Jarvis的对话式AI服务和基于Merlin的推荐系统，是企业优化服务的捷径。

Jarvis早期试用用户推进框架发展

NVIDIA开发者计划中的一些公司已开始借助NVIDIA Jarvis开发对话式AI服务。早期用户包括支持呼叫中心的AI代理Voca、用于金融行业和商业的自动语音转录工具Kensho、以及安排约会的虚拟助手Square。

位于伦敦的Intelligent Voice公司的首席技术官Nigel Cannings表示，除了提供高性能语音识别服务之外，该公司一直在寻求开展更多其他业务。

他表示：“Jarvis采用一种多模态方法，将自动语音识别的关键元素与实体和意图相结合，从而满足新用例对高吞吐量和低延迟的需求。Jarvis API的使用和集成非常简单，还能根据客户的工作流程进行轻松完成定制，从而优化性能。”

由此，Intelligent Voice公司得以在疫情期间迅速投入工作，以创纪录的速度将全新产品Myna推向市场，保障传递准确有效的视频会议信息。

优化所需的对话式AI

在美国，呼叫中心客服每天需要接听2亿个电话，远程医疗服务每日问诊高达240万次，这都需要进行高精度的转录。

传统语音系统仍有改进的余地。受CPU处理能力的限制，其低质量模型导致机器人语音产品不尽人意。Jarvis包含当今最大的Megatron-BERT模型，具备业内最高的准确性，同时延迟也达到业内最低水平。

实现与对话式AI的实时自然交互，需要在300毫秒内完成模型计算。但是，采用内置CPU的模型，需要600毫秒才能完成。

Jarvis通过传感器融合（摄像机和麦克风的集成），可以提供更自然的交互。它能够实时处理多个数据流，从而提供更好的服务。

复杂的模型管线，更简单的解决方案

对话式AI中的模型管线可能十分复杂，并且需要协调多项服务。

微服务需要借助自动语音识别模型、自然语言理解、文本-语音转换和特定领域应用的大规模运行。这些高度专业化的任务会在并行处理中加速运行，与竞争对手的纯CPU服务器相比，其成本优势提高了3倍。

NVIDIA Jarvis是一个全面的框架，可提供用于构建对话式AI应用的软件库，并包含使用最新深度学习模型的ASR、NLU、TTS和计算机视觉的GPU优化服务。

开发者可以将多项功能融入到他们的应用中，并帮助饥饿的旅人迅速找到附近最称心如意的餐厅。

Merlin创建更智能的互联网

推荐系统是个性化互联网的引擎，它们在网上无处不在。它们会根据您喜欢的食物和所购买的商品进行推荐，并且当您从一个网站跳转到另一个网站时，推荐系统会通过重新调整具有针对性的产品广告，来吸引您的注意。

但如果推荐系统做得不够好，那人们可能空手而归，企业也会白白浪费挣钱的机会。

对于全球大型在线贸易网站，推荐系统带来的收入最高能占到总收入的30％。推荐的相关性每提高1％，就能产生数十亿美元的收入。

通过GPU进行大规模推荐

在腾讯，推荐系统被用于支持视频、新闻、音乐和各类应用。腾讯借助NVIDIA Merlin将推荐系统的训练时间从20小时减少到3小时。

腾讯TEG的AI技术负责人Ivan Kong表示：“借助Merlin HugeCTR广告推荐加速框架，我们可以更快、更准确地训练广告业务模型，提高在线广告的投放效果。”

实现推荐系统的普及化

现在，NVIDIA Merlin应用框架对所有人开放使用，该框架让各类企业能够构建基于NVIDIA GPU加速的推荐系统。

Merlin的资源库包括用于构建基于深度学习系统的工具，这些系统提供的预测结果比使用传统方法得到的预测结果更加精准、点击率更高。优化管线的每个阶段，从而使其支持数百TB的数据，而且所有数据都可以通过简单易用的API访问。

Merlin被全球最大的媒体公司之一采用，并且正在接受全球数百家公司的测试。美国社交媒体巨头正在试验其分享相关新闻的能力，流媒体服务供应商正在测试其是否能够推荐下次观看和收听的内容，各大型零售商都期待它对于商品的购买建议。

对此感兴趣的读者，可以进一步了解Merlin自首次发布以来的技术进步，包括对NVTabular的支持、多GPU支持、HugeCTR和NVIDIA Triton 推理服务器。

企业可以注册NVIDIA Jarvis公测版，访问对话式AI的最新发展。

（https://developer.nvidia.com/nvidia-jarvis）

获取NVIDIA Merlin公测版，以最快的方式上传TB级的训练数据并大规模部署推荐系统。

（https://developer.nvidia.com/nvidia-merlin）