首页 > 最新资讯 > NVIDIA 研究人员变身机器人 AI 训练师 ,改善人机交互
NVIDIA 研究人员变身机器人 AI 训练师 ,改善人机交互

NVIDIA 研究人员变身机器人 AI 训练师 ,改善人机交互

2020-04-15 10:41

#人工智能 #深度学习 #机器人


在仓库与家庭场景中,为了进一步打造出能够与人类进行安全、有效合作的机器人NVIDIA 西雅图 AI 机器人研究实验室(Seattle AI Robotics Research Lab)的研究人员,开发出了一种让机器人能够与人们递接物体的人机交互方法。

该系统目前还处于概念验证阶段。与以往方法相比,这个方法可以实现更流畅的递接,进而帮助仓库机器人,甚至厨房助手机器人更好地进行人机交互。

解决这个问题的关键在于,需要开发一套感知系统来精确识别手和递接物体的各种姿态。在递接物体时,人们可能正在专注于其他事情,手和物体通常会相互遮挡。为了解决这个问题,研究团队将该方法分成了多个阶段。

首先,该团队定义了一组握持动作,这组动作描述了人手进行递接时握持物体的方式。

研究人员在其论文中解释道:“当用手握住一个物体时,手的姿势可分为打开手掌、捏住底部、捏住顶部、捏住侧面或拿起。如果手中没有任何物体,那么可能是在等待机器人递交物体或者未发生这个动作。”

然后他们在点云上训练了一个深层神经网络,用于预测人类的握持类别。研究人员使用 Microsoft Azure Kinect RGBD 摄像头创建了一个数据集,这组数据集包含了 8 个实验对象的不同手形和手势。

研究人员表示:“我们向实验对象展示了一张用手握持物体的图片,接着记录实验对象执行相似动作时的姿势,记录时间为 20 至 60 秒,随后在整个图像序列中标出相应的人类握持类别。在记录期间,实验对象的身体和手可以移动到不同的位置,以使摄像头的视角多样化。我们分别记录了每名实验对象的左手和右手,整个数据集总共包含 151551 张图像。”

5 种人类握持类型与2种空手类型涵盖了人们所习惯的各种物体握持方式。研究人员将这些动作与机器人的各种典型握持方向相关联,最大程度上减少了递接过程中人们的负担(以坐标系统和黄色箭头表示)。

在下一阶段,研究人员根据人类的握持动作调整了机器人的握持方向。

鉴于 PointNet ++ 架构在许多机器人应用上都取得了极佳效果(如无标记远程操作系统和握持生成等),因此为了完成这项任务,研究人员使用该架构训练人类握持分类网络。

研究人员表示:“手的周围分布着点云,该网络可以根据定义的握持类别对手的动作进行分类。定义的握持类别也可以被用于进一步的机器人握持动作设计。”


递接框架概述。该框架采用以手部检测为中心的点云,然后使用基于 PointNet ++ 的模型,根据 7 种握持类别对手的动作进行分类。这七种握持类别涵盖了人们所习惯的各种物体握持方式。然后,该任务模型据此调整机器人握持动作的设计。

在该步骤中,团队为机器人设计了典型的握持方向,减少了机器人抓住人手的可能性,使机器人的运动和轨迹尽可能自然。

研究人员使用一个内置 CUDA 10.2 和 PyTorch 框架的 NVIDIA TITAN X GPU 对该系统进行了训练,并通过 1 个 NVIDIA RTX 2080 Ti GPU 完成了测试。

研究人员总结道:“与两种基础方法相比,这种方法能够不断提高握持的成功率,缩短总执行时间和试验时间。这证明了该方法的有效性和可靠性。”


(a)人手握持分类的准确性。(b)人类手部状态分类和 PoseCNN 之间的物体遗漏检出率比较。在很多情况下,手会遮挡物体,因此很难获得准确的物体姿态估计值。

在未来的测试中,研究人员计划训练该系统掌握更多握持类型,进一步增强他们的数据集。

相关新闻