只需要用目光的对视就可以操控无人机或者无人飞行器？这听起来就像科幻电影里的场景，但现在它已经变成了现实。来自宾夕法尼亚大学和纽约大学的研究人员与合作者们开发了一种深度学习系统，该系统使用NVIDIA GPU，用户只需将眼睛对准想要操控的方向，便可以轻松控制无人机了。

“我们展示了一组配备目光跟踪器、相机和惯性测量单元 (Inertial Measurement Unit, IMU) 的眼镜，可用于

(a) 估测人类相对于四旋翼的相对位置

(b) 区分凝视方向与头部方向

(c) 允许人类进行空间任务 （例如：在没有仪器的环境中向机器人发送新的3D导航路标）

这项研究首先在IEEE Spectrum上发表，描述了研究人员如何使用深度学习和安装在无人机上的NVIDIA Jetson TX2 GPU，以及一副专门的眼球跟踪眼镜来控制无人机。

这个系统的独特之处在于它是独立的，也就是说无人机不依赖于任何外部传感器。

使用NVIDIA GeForce GTX 1080 Ti GPU和cuDNN加速的TensorFlow深度学习框架，团队通过训练他们的神经网络，从眼镜提供的2D凝视坐标来计算出3D导航点。他们还会通过训练网络进行目标检测。

研究人员说:“我们的传递途径能够成功实现由人类引导的空间任务自主。” 我们可以从眼镜中计算出指向向量，然后在预先设定的安全区域内随机选择路径点深度。理想情况下，3D导航路径点将直接来自眼动追踪眼镜，但我们在实验中发现，眼镜报告的深度组件太嘈杂而无法有效使用。将来，我们希望进一步调查此问题，从而可以让用户更深入地控制。

“由于跟踪眼镜本身没有太多的计算能力，当它连接到Jetson TX2 GPU后，在用户戴上眼镜并观察无人机时，GPU会检测出无人机及其相对于用户的位置。

研究人员说:“该方法可以被应用于各种情况，包括检查、第一反应等，也可以应用于活动能力受限的残疾人。”

该论文已提交给ICRA 2019和IEEE Robotics and Automation Letters。