NVIDIA在西雅图机器人实验室的研究人员开发了一种名为6-DoF GraspNet的新算法，可以让机器人抓取任意物体。

从仓储物流到服务型机器人，抓力始终是当前和未来机器人系统的重要组成部分。

想象一下，如果让一个机器人拿起一个物体并将其放进一个容器里。首先，机器人观察物体，在6D空间中决定抓取器的移动位置（空间中的x、y、z坐标平面和旋转三维空间）。需要注意的是，抓取成功与否还取决于物体和抓取器的几何形状、物体的质量分布和表面摩擦力，而这对于机器人来说实现起来是非常困难的。


用6-DoF GraspNet抓取马克杯


用6-DoF GraspNet抓取盐罐

6-DoF GraspNet的工作如下：机械手通过观察物体并规划好在6D空间（空间中的x、y、z坐标平面和旋转三维空间）中的移动路径。该算法的设计方式是生成一组可能的握持器并根据需求进行移动。然后，握持器的运行需要调用“握持评估器”，该评估器会为每个可能的握持分配一个分数。最后，握持评估器通过局部变换调整握持变量进而提高最佳握持的成功率。


6-DoF GraspNet工作概览

基于深度学习的方法通常是数据密集型的，而收集机器人任务的训练数据是资源密集型和繁琐的。通常需要多个机器人连续几天或几个月收集数据，以获得足够的数据来训练模型。而6-DoF GraspNet使用的则是综合训练数据，它由三维对象模型和模拟的抓取体验组成。对于每个对象，使用几何启发式生成抓取假设，并使用NVIDIA FleX物理引擎进行评估。

在训练过程中，对象物体在随机视点上进行渲染生成点云，并且利用模拟的机械臂学习模型的参数。此模型使用了8个NVIDIA V100 GPU，并在随机的盒子、圆筒、杯子、碗和瓶子上进行训练。


采用NVIDIA FleX评估法

6-DoF GraspNet的优点是模块化，这使得它可以被用于各种计算机视觉应用和运动规划算法，而非端到端地解决所有问题。如何将桌上的所有物品都收起来并放入一个容器中？这个问题现在可以通过使用6-DoF GraspNet和一个分割一般物体的模型来解决了。从分割对象中提取每个对象的点云，使用6-DoFNet生成grasps。场景中的其他物体用立方体近似表示为运动规划模块的障碍物，以确保机械臂不会跟任何障碍物相撞。