深度强化学习 - 一种通过使用奖励来推动 *** 人实现目标的算法训练技术 - 在基于视觉的导航领域中显示出巨大的希望。科罗拉多大学的研究人员最近展示了一个系统,帮助机器人从相机镜头中找出远足径的方向,苏黎世联邦理工学院的科学家们在1月份的一篇论文中描述了一种机器学习框架,它有助于四足机器人从地面爬起来当他们绊倒时。
AI引导单镜头无人机穿过它从未见过的走廊
但是,当这种人工智能应用于无人机而不是机器牢固地安装在地面上时,它的表现是否同样熟练?加州大学伯克利分校的一个团队开始寻找答案。
在最新发表的关于预印本服务器Arxiv的论文(“ 通过模拟推广:将模拟和真实数据集成到基于视觉的自主飞行的深度强化学习中 ”)中,该团队提出了一种“混合”深度强化学习算法,该算法结合了两者的数据。数字模拟和现实世界,通过铺有地毯的走廊引导四轴飞行器。
“在这项工作中,我们......旨在设计一种转移学习算法,在这种算法中学习车辆的物理行为,”该论文的作者写道。“实质上,现实世界的经验被用来学习如何飞行,而模拟经验被用来学习如何概括。”
为何使用模拟数据?正如研究人员指出的那样,泛化在很大程度上取决于数据集的大小和多样性。一般而言,数据的数量和多样性越大,性能越好,并且获取实际数据既耗时又昂贵。但是模拟数据存在一个问题,它是一个很大的问题:它在飞行数据方面具有固有的低质量 - 复杂的物理和气流通常很差或根本没有模拟。
研究人员的解决方案是利用现实世界的数据来训练系统的动态,并模拟数据以学习一般化的感知策略。他们的机器学习架构包括两部分:从模拟中传输视觉特征的感知子系统,以及用真实世界数据提供的控制子系统。
为了训练模拟政策,该团队使用斯坦福大学的Gibson模拟器,该模拟器包含各种各样的3D扫描环境(研究人员在16中收集数据)并使用相机模拟虚拟四轴飞行器,以便直接控制姿势相机。他们拥有1700万个模拟收集的数据点,当他们完成所有这些时,他们结合了14,000个数据点,这些数据点是通过在加州大学伯克利分校Cory Hall的5楼的单个走廊中运行模拟训练的政策而获得的。
通过仅一小时的实际数据,该团队证明了AI系统可以引导27克四轴飞行器 - Crazyflie 2.0 - 通过以前从未遇到过的具有照明和几何形状的新环境,并帮助它避免碰撞。它进入现实世界的唯一窗口是单筒望远镜; 它通过无线电到USB加密狗与附近的笔记本电脑进行通信。
研究人员指出,训练用于避免碰撞和导航的模型比使用其他 *** 学习的任务不可知策略转移得更好,例如无监督学习和大型图像识别项目的预训练技术。此外,当AI系统确实失败时,它通常是“合理的” - 例如,在30%的弯道走廊试验中,四轴飞行器与玻璃门相撞。
“我们[工作]的主要贡献是将大量模拟数据与少量实际经验相结合的 *** ,以便通过深度强化学习来训练真实世界的自动飞行避碰政策,”该论文的作者写道。“我们 *** 的基本原理是了解车辆的物理特性及其在现实世界中的动态,同时从模拟中学习视觉不变性和模式。
怎么同步老婆的微信聊天记录不被发现(老婆微信聊天同步接收聊天记录) 常常有家长问,提前批都有什么学校?是不是提前批的招生学校比本一 、本二招生的学校好?我们的孩子适不适合报提前批呢?提前批走不了影响...
成都市高端商务守候小学妹在线预约价钱-模特微信不二之选 伴游叙述:近期有很多盆友在商务预约网后台管理留言板留言,想掌握有关成都市高端商务守候小学妹在线预约价钱信息内容。因此我根据百度搜索、知乎问答、百...
如果说,高科技设备是为了更好的服务人们的日常生活,那么,无线吸尘器的问世就是当前最具代表性的高科技实用小家电。新式家居环境中,各式家居摆件和装饰性物品众多,因此,不少人在打扫卫生时非常头疼,无线吸尘器...
腾讯安全云鼎实验室的安全研究员张祖优(Fooying)坐在我和同事面前两个小时了。 其中的一个半小时他都是边说边笑。 如果在你心目中,黑客都是冷酷、安静、不善言辞的话,你应该来和 Fooy...
很多时候,自己的另一半喜欢查看自己的微信聊天记录,这种行为到底对不对呢?本期小编要说的不是这个问题,而是教你如何查已删除的聊天记录! 如何查已删除的微信聊天记录? 一、安卓手机怎么查?...
游戏市场活跃,带动游戏直播行业发展 游戏直播是指以游戏内容为载体,以主播或选手自己玩游戏的操作技术和解说为手段,通过直播平台的播放,依靠商家在平台投放广告,观众刷礼物等方式进行盈利所形成的一个和网络...