DevZone | NVIDIA Clara Guardian
2022-09-05 14:47
分享到微信
分享到微博
NVIDIA Clara Guardian 是一个应用框架，同时也是一种合作伙伴生态系统，它可以利用多模态 AI 简化智能传感器的开发和部署，可应用于医疗健康设施的各个位置。借助各种各样的预训练模型、参考应用和设备群管理解决方案，开发者能够以更快的速度构建解决方案，从而将 AI 引入医疗健康设施，并提高患者护理水平。
Clara Guardian 的关键组件包括医疗健康预训练模型，该模型适用于计算机视觉和语音、训练工具、部署 SDK 和 NVIDIA Fleet Command。NVIDIA Fleet Command 是一个混合云平台，可支持在数百万台服务器或医院的边缘设备中安全管理并扩展 AI 部署。
这使得生态系统合作伙伴可以轻松将 AI 功能添加到常用传感器中，从而监控人群的安全社交距离、测量体温、检测是否佩戴口罩等防护装备，或与高风险患者进行远程交互，从而在保护医疗健康机构人员安全的同时，还能让他们随时了解状况。
应用和服务可以在各种硬件上运行，因此，开发者能够在从边缘到云端的任意位置安全地进行部署。
NVIDIA Clara Guardian 功能特性
提供解决方案
利用高性能的预训练模型在医疗健康领域构建精确 AI。
云原生，边缘优先
快速扩展软件，并在边缘轻松部署应用。
安全管理
在数十台，甚至多达数百万台的服务器或边缘设备上安全地管理和扩展 AI 部署。
医疗健康领域专用的预训练模型
适用于语音的 Clara Guardian
适用于语音的 Clara Guardian 是 Riva 对话式 AI 功能针对医疗健康领域的特定版本。
对于自动语音识别（ASR）功能，模型执行离线识别和串流识别两种模式，可自动添加标点符号、输出字词时间戳并返回前 n 个脚本。
我们推荐使用 CitriNet 这个基于端到端卷积 Connectionist Temporal Classification（CTC）的全新 ASR 模型。CitriNet 模型会接收音频片段，并将其转写为字母、字节对或词片段序列。CitriNet 已在 ASR 数据集上进行训练，在没有任何外部 LM 的情况下，它可以在 LibriSpeech test-other 上达到 6.22% 的误字率（WER），并且在各种硬件 / GPU 上高效运行，如此处所示。
Conformer-CTC 模型是用于自动语音识别的 Conformer 模型的非自回归变体，该模型使用 CTC 损失 / 解码代替 Transducer。
对于自然语言理解（NLU）功能，深度学习模型通过编码向量理解上下文，并为特定语言任务（如预测下一个单词和文本摘要）提供适当的输出。
对于文本转语音（TTS），有一款基于 FastPitchHifiGanE2E 的语音合成模型。FastPitchHifiGanE2E 是一个端到端的非自回归模型，可将文本转化成音频。它将 FastPitch 和 HiFiGan 组合成一个模型，并以端到端方式联合训练。
语音模型（ASR、NLP 和 TTS）可用于截取、处理和响应患者在医疗健康设置中可能提出的常见请求。
适用于计算机视觉的 Clara Guardian
适用于计算机视觉的 Clara Guardian 是 DeepStream 和 Riva 计算机视觉功能在医疗健康领域的特定版本。
Clara Guardian 包含可用于手势识别、心率监测、口罩检测和身体姿态估计的预训练模型。
身体姿态估计可用于检测身体中重要关节和面部特征的位置（眼睛、耳朵、肘部、肩膀、手腕、臀部、膝盖、脚踝、鼻子、颈部等），从而建立患者监控 AI 模型。
手势识别模型可以识别一系列常见的手势（挥手、表示同意、竖大拇指、表示制止等）。
仅通过观察人脸的视频流，心率估计模型就可以获得一个人的心率数据。
预编译的 NVIDIA TensorRT 引擎已在 NVIDIA GPUs 上进行优化。
借助 Fleet Command 进行安全管理
NVIDIA Fleet Command 是一个混合云平台，可以跨数十台到数百万台服务器或边缘设备，安全地远程部署、管理和扩展 AI。管理员无需花费数周时间规划和执行部署，只需几分钟即可将 AI 扩展到医院。管理员能够在一个控制面板中实现整个 IT 部门的相关操作，从而管理 AI 应用的生命周期、通过无线以及远程监控和访问系统更新系统软件。
端到端 AI 解决方案
Clara Guardian 包含经 GPU 优化的组件，可加速应用开发的各个阶段。
训练
一系列医疗健康领域专用的预训练计算机视觉和对话式 AI 模型，适用于各种用例。
NVIDIA NeMo，为 ASR、NLP 和 TTS 构建对话式 AI 模型。
TAO 工具套件，可创建零编码且高度准确的计算机视觉模型。
部署
NVIDIA Riva 用于部署融合了视觉、语音和其他传感器数据的对话式 AI 模型。
NVIDIA DeepStream SDK 借助传输层安全性（TLS）协议，提供多平台可扩展的视频分析框架，可在边缘进行部署，可连接到任意云。
