NVIDIA 研究人员变身机器人 AI 训练师 ，改善人机交互
2020-04-15 10:41
分享到微信
分享到微博
在仓库与家庭场景中，为了进一步打造出能够与人类进行安全、有效合作的机器人，NVIDIA 西雅图 AI 机器人研究实验室（Seattle AI Robotics Research Lab）的研究人员，开发出了一种让机器人能够与人们递接物体的人机交互方法。
该系统目前还处于概念验证阶段。与以往方法相比，这个方法可以实现更流畅的递接，进而帮助仓库机器人，甚至厨房助手机器人更好地进行人机交互。
解决这个问题的关键在于，需要开发一套感知系统来精确识别手和递接物体的各种姿态。在递接物体时，人们可能正在专注于其他事情，手和物体通常会相互遮挡。为了解决这个问题，研究团队将该方法分成了多个阶段。
首先，该团队定义了一组握持动作，这组动作描述了人手进行递接时握持物体的方式。
研究人员在其论文中解释道：“当用手握住一个物体时，手的姿势可分为打开手掌、捏住底部、捏住顶部、捏住侧面或拿起。如果手中没有任何物体，那么可能是在等待机器人递交物体或者未发生这个动作。”
然后他们在点云上训练了一个深层神经网络，用于预测人类的握持类别。研究人员使用 Microsoft Azure Kinect RGBD 摄像头创建了一个数据集，这组数据集包含了 8 个实验对象的不同手形和手势。
研究人员表示：“我们向实验对象展示了一张用手握持物体的图片，接着记录实验对象执行相似动作时的姿势，记录时间为 20 至 60 秒，随后在整个图像序列中标出相应的人类握持类别。在记录期间，实验对象的身体和手可以移动到不同的位置，以使摄像头的视角多样化。我们分别记录了每名实验对象的左手和右手，整个数据集总共包含 151551 张图像。”
5 种人类握持类型与2种空手类型涵盖了人们所习惯的各种物体握持方式。研究人员将这些动作与机器人的各种典型握持方向相关联，最大程度上减少了递接过程中人们的负担（以坐标系统和黄色箭头表示）。
在下一阶段，研究人员根据人类的握持动作调整了机器人的握持方向。
鉴于 PointNet ++ 架构在许多机器人应用上都取得了极佳效果（如无标记远程操作系统和握持生成等），因此为了完成这项任务，研究人员使用该架构训练人类握持分类网络。
研究人员表示：“手的周围分布着点云，该网络可以根据定义的握持类别对手的动作进行分类。定义的握持类别也可以被用于进一步的机器人握持动作设计。”
递接框架概述。该框架采用以手部检测为中心的点云，然后使用基于 PointNet ++ 的模型，根据 7 种握持类别对手的动作进行分类。这七种握持类别涵盖了人们所习惯的各种物体握持方式。然后，该任务模型据此调整机器人握持动作的设计。
在该步骤中，团队为机器人设计了典型的握持方向，减少了机器人抓住人手的可能性，使机器人的运动和轨迹尽可能自然。
研究人员使用一个内置 CUDA 10.2 和 PyTorch 框架的 NVIDIA TITAN X GPU 对该系统进行了训练，并通过 1 个 NVIDIA RTX 2080 Ti GPU 完成了测试。
研究人员总结道：“与两种基础方法相比，这种方法能够不断提高握持的成功率，缩短总执行时间和试验时间。这证明了该方法的有效性和可靠性。”
（a）人手握持分类的准确性。（b）人类手部状态分类和 PoseCNN 之间的物体遗漏检出率比较。在很多情况下，手会遮挡物体，因此很难获得准确的物体姿态估计值。
在未来的测试中，研究人员计划训练该系统掌握更多握持类型，进一步增强他们的数据集。
该系统目前还处于概念验证阶段。与以往方法相比，这个方法可以实现更流畅的递接，进而帮助仓库机器人，甚至厨房助手机器人更好地进行人机交互。
解决这个问题的关键在于，需要开发一套感知系统来精确识别手和递接物体的各种姿态。在递接物体时，人们可能正在专注于其他事情，手和物体通常会相互遮挡。为了解决这个问题，研究团队将该方法分成了多个阶段。
首先，该团队定义了一组握持动作，这组动作描述了人手进行递接时握持物体的方式。
研究人员在其论文中解释道：“当用手握住一个物体时，手的姿势可分为打开手掌、捏住底部、捏住顶部、捏住侧面或拿起。如果手中没有任何物体，那么可能是在等待机器人递交物体或者未发生这个动作。”
然后他们在点云上训练了一个深层神经网络，用于预测人类的握持类别。研究人员使用 Microsoft Azure Kinect RGBD 摄像头创建了一个数据集，这组数据集包含了 8 个实验对象的不同手形和手势。
研究人员表示：“我们向实验对象展示了一张用手握持物体的图片，接着记录实验对象执行相似动作时的姿势，记录时间为 20 至 60 秒，随后在整个图像序列中标出相应的人类握持类别。在记录期间，实验对象的身体和手可以移动到不同的位置，以使摄像头的视角多样化。我们分别记录了每名实验对象的左手和右手，整个数据集总共包含 151551 张图像。”
5 种人类握持类型与2种空手类型涵盖了人们所习惯的各种物体握持方式。研究人员将这些动作与机器人的各种典型握持方向相关联，最大程度上减少了递接过程中人们的负担（以坐标系统和黄色箭头表示）。
在下一阶段，研究人员根据人类的握持动作调整了机器人的握持方向。
鉴于 PointNet ++ 架构在许多机器人应用上都取得了极佳效果（如无标记远程操作系统和握持生成等），因此为了完成这项任务，研究人员使用该架构训练人类握持分类网络。
研究人员表示：“手的周围分布着点云，该网络可以根据定义的握持类别对手的动作进行分类。定义的握持类别也可以被用于进一步的机器人握持动作设计。”
递接框架概述。该框架采用以手部检测为中心的点云，然后使用基于 PointNet ++ 的模型，根据 7 种握持类别对手的动作进行分类。这七种握持类别涵盖了人们所习惯的各种物体握持方式。然后，该任务模型据此调整机器人握持动作的设计。
在该步骤中，团队为机器人设计了典型的握持方向，减少了机器人抓住人手的可能性，使机器人的运动和轨迹尽可能自然。
研究人员使用一个内置 CUDA 10.2 和 PyTorch 框架的 NVIDIA TITAN X GPU 对该系统进行了训练，并通过 1 个 NVIDIA RTX 2080 Ti GPU 完成了测试。
研究人员总结道：“与两种基础方法相比，这种方法能够不断提高握持的成功率，缩短总执行时间和试验时间。这证明了该方法的有效性和可靠性。”
（a）人手握持分类的准确性。（b）人类手部状态分类和 PoseCNN 之间的物体遗漏检出率比较。在很多情况下，手会遮挡物体，因此很难获得准确的物体姿态估计值。
在未来的测试中，研究人员计划训练该系统掌握更多握持类型，进一步增强他们的数据集。
