深度强化学习 - 一种通过使用奖励来推动 *** 人实现目标的算法训练技术 - 在基于视觉的导航领域中显示出巨大的希望。科罗拉多大学的研究人员最近展示了一个系统，帮助机器人从相机镜头中找出远足径的方向，苏黎世联邦理工学院的科学家们在1月份的一篇论文中描述了一种机器学习框架，它有助于四足机器人从地面爬起来当他们绊倒时。

AI引导单镜头无人机穿过它从未见过的走廊

但是，当这种人工智能应用于无人机而不是机器牢固地安装在地面上时，它的表现是否同样熟练?加州大学伯克利分校的一个团队开始寻找答案。

在最新发表的关于预印本服务器Arxiv的论文(“ 通过模拟推广：将模拟和真实数据集成到基于视觉的自主飞行的深度强化学习中 ”)中，该团队提出了一种“混合”深度强化学习算法，该算法结合了两者的数据。数字模拟和现实世界，通过铺有地毯的走廊引导四轴飞行器。

“在这项工作中，我们......旨在设计一种转移学习算法，在这种算法中学习车辆的物理行为，”该论文的作者写道。“实质上，现实世界的经验被用来学习如何飞行，而模拟经验被用来学习如何概括。”

为何使用模拟数据?正如研究人员指出的那样，泛化在很大程度上取决于数据集的大小和多样性。一般而言，数据的数量和多样性越大，性能越好，并且获取实际数据既耗时又昂贵。但是模拟数据存在一个问题，它是一个很大的问题：它在飞行数据方面具有固有的低质量 - 复杂的物理和气流通常很差或根本没有模拟。

研究人员的解决方案是利用现实世界的数据来训练系统的动态，并模拟数据以学习一般化的感知策略。他们的机器学习架构包括两部分：从模拟中传输视觉特征的感知子系统，以及用真实世界数据提供的控制子系统。

为了训练模拟政策，该团队使用斯坦福大学的Gibson模拟器，该模拟器包含各种各样的3D扫描环境(研究人员在16中收集数据)并使用相机模拟虚拟四轴飞行器，以便直接控制姿势相机。他们拥有1700万个模拟收集的数据点，当他们完成所有这些时，他们结合了14,000个数据点，这些数据点是通过在加州大学伯克利分校Cory Hall的5楼的单个走廊中运行模拟训练的政策而获得的。

通过仅一小时的实际数据，该团队证明了AI系统可以引导27克四轴飞行器 - Crazyflie 2.0 - 通过以前从未遇到过的具有照明和几何形状的新环境，并帮助它避免碰撞。它进入现实世界的唯一窗口是单筒望远镜; 它通过无线电到USB加密狗与附近的笔记本电脑进行通信。

研究人员指出，训练用于避免碰撞和导航的模型比使用其他 *** 学习的任务不可知策略转移得更好，例如无监督学习和大型图像识别项目的预训练技术。此外，当AI系统确实失败时，它通常是“合理的” - 例如，在30%的弯道走廊试验中，四轴飞行器与玻璃门相撞。

“我们[工作]的主要贡献是将大量模拟数据与少量实际经验相结合的 *** ，以便通过深度强化学习来训练真实世界的自动飞行避碰政策，”该论文的作者写道。“我们 *** 的基本原理是了解车辆的物理特性及其在现实世界中的动态，同时从模拟中学习视觉不变性和模式。