让无人机自主避障教学研究迈向更高处slam导航避障算法

随着消费级无人机技术的不断成熟,不断完善的自动避障系统可以极大的减少因操作失误而带来的各项损失,目前避障能力正逐渐成为了无人机自动化或智能化的关键点所在。

让无人机自主避障教学研究迈向更高处slam导航避障算法。根据无人机避障技术的原理和发展趋势,可以将无人机避障技术分为三重阶段：即感知障碍物阶段、绕过障碍物和场景建模和路径搜索。

感知障碍阶段

"在开阔场地飞行,尽量避开人群,避免因操作失误而带来的安全事故”是目前大部分消费级无人机的使用说明上都会出现的一项标注,因此各无人机开发商为了降低安全事故的发生几率,都将避障技术作为了开发的重点。而如何实现无人机自动避障,首先要实现的是如何精确的测量无人机与障碍物之间的距离，只有先测量出危险范围内的距离，才可以有时间在撞向障碍物之前停止无人机的前进动作,进而避免事故的发生。就如人类或其他动物在前进的过程中,只有先看见前方的障碍物,并且会大致估算出自己与障碍物之间的距离,才能决定下一步的行为方向,因此虽然看似测距停止的这种思路很简单粗暴,但在实际应用中还是有一定的存在意义。

而目前的无人机领域被广泛应用到的障碍物检测方法有超声波测距、红外或激光测距、双目视觉、电子地图等。其中双目视觉技术更是利用了人眼如何估计视觉的原理,是目前较受无人机开发商青睐的一种技术。超声波测距其实是一种比较成熟的测距技术,而成本相对较低,目前被大量的应用于家用的汽车倒车雷达上,但是其测量距离较近,而且对反射面有着一定的要求 ,因此常被用来测量无人机与地面之间的距离,而非与障碍物之间的距离。

红外或激光测距又称TOF是利用传感器发射定频率的信号，通过计算反射信号与原信号之间的相位差来确定信号的飞行时间,并最终确定的无人机与障碍物之间的距离，该技术一旦达到高等级 ,还可以获得障碍物的深度图。

而双目视觉技术是运用了人眼计算距离的原理,是机器视觉的一种重要形式，主要基于视察原理并利用成像设备从不同的位置获取被测物体的两幅图像，并通过计算图像对应点之间的位偏差,来确定物体三维几何信息的方法。虽然该技术的难度较高.但是已经开始逐渐应用到无人机避障技术中来。

电子地图则是借助GPS系统、细粒度的数字高程地图和城市建筑3D地图，比较适用于无人机的禁区功能，不仅可以避免重要建筑物受到撞击，还可实现多种情况下的避障功能。

在看过基本的障碍物测量原理之后，我们可以继续看无人机的避障功能，最简单的概况就是通过各项障碍物测量技术，来保障无人机与障碍物之间的距离并且根据距离实行下一步的飞行计划，然而在遇到障碍物之后就保持距离并进行等待,只能说是无人机避障功能的最初级阶段。

绕过障碍阶段

当无人机遇到障碍物之后进行悬停等待，等待已经完全不能满足操作者们的使用需求目标,但是获取前方障碍物距离容易，获取精准的障碍物轮廓并绕过去却是新的技术障碍，而关键点则如何精确获得障碍物的深度图像。

在自然界中,动物们都知道前方遇到障碍物时该如何绕过去,而不是只在障碍物之前等待,而原因在于动物们可以知道障碍物的大致轮廓,只要找到边缘处所在,就可以从边上绕过去,然而看似简单的做法却包含着很深的套路。

很简单的就是目前的测障技术很难满足障碍物轮廓获取的需求,当无人机采用超声波进行测距时,只能大致测出前方的距离,只能获得二维的数值，而非三维的画面。

但是目前的TOF和双目视觉技术则是声称可以获得障碍物深度图像的技术。也就是说利用这两种技术来进行障碍物距离测量,只要障碍物没有充满整个视觉范围,其边缘总会被获取到,而无人机则可以根据测量的结果继续选择下一步的飞行路线。

看似问题已经解决，其实不然。举例来说，当我们出门想到达一个目的地的时候，如果目的地前方有一座高楼，我们可以通过发现高楼的边缘从而绕过它来到达目的地,但是我们不可预知的是高楼背后是否有其他的建筑物的存在。无人机也是如此，一旦障碍物之后的近距离还有障碍物的存在，那么依然存在较高的事故发生率。因此如何应对多重障碍物的存在就成为了无人机避障技术下一步需要探讨的对象。

场景建模和路径探索

上文说到无人机的避障功能已经需要一个可以应对多重障碍物的技术出现，也就是说在目前的技术中,如何对飞行场景进行精准建模,实时获取场景模型,并通过飞控来设置最优避障飞行路径是重点,这也拉开了无人机避障功能中的场景建模和路径搜索阶段的帷幕。

其实就是基于电子地图等来源获取场景模型,利用机载计算机中的算法来得出最优路径,如果应用在自然界中来说,就是当动物经过一些障碍物时，它们的大脑里面会存在相关场景的一个地图,当再一次经过的时候，就会根据上次记忆的场景模型来获取最佳避障路线。无人机虽然不能通过两次飞行去获取记忆的场景模型,但是它可以通过其他的科技手段来获取,也就是说飞行场地的3D地图等。

基于该项理论的基础上，卓翼智能联合北航专业视觉导航团队研发出，基于机器视觉无人平台自主导航避障系统，具有立体视觉、运动估计、稠密重建、Slam导航、路径规划、自主避碍等功能。

系统结合目前热门研究领域与研究方向，集无人机、无人车、双目视觉、机载AI视觉处理板卡于一体，形成全套的无人平台控制、通讯链路、视觉图像采集、图像识别、三维重建、定位解算等软件算法解决方案。

为各科研团队、高校实验室提供硬件完善、功能齐全、开发环境完整、引领行业发展的全系统全功能开发测试环境，让各科研团队专注于slam导航避障算法研究。

该系统提供全套的学科教学课程以及示例算法等，可快速展开相关课程设计，进行实际教学应用阶段。教科书级专业指导，永葆技术先进性。

整体解决方案

基于机器视觉无人平台自主导航避障系统组成架构：

硬件组成

基于机器视觉无人平台自主导航避障系统硬件由：开发工作站、无人机系统、机载双目视觉、机载图像处理板、VR三维显示等组成。

1、开发工作站

开发工作站是系统开发实验控制平台，主要用于双目视觉目标识别训练系统开发使用，为前期视觉系统控制平台，当在上位机中控制成功后即可以移植到TX2上进行实时自主控制。

2、无人机平台

无人机平台专为基于机器视觉无人平台自主导航避障系统研发，具有飞行稳定。可通过串口、USB接口、网络通讯等多种通讯控制接口控制。可搭载超声波、激光、光流GPS、PTK等诸多传感器，适应多种应用环境与系统组合。

3、机载双目视觉系统

机载双目视觉系统包括双目相机、图传系统，双目相机固定于无人机底部，实时采集无人机巡视拍摄信息，发送至TX2机载处理板卡进行避障、跟随以及slam计算，或下传至地面图传接收机由开发工作站进行处理。机载双目视觉系统所使用的双目视觉相机为小觅双目视觉相机。

采用小觅双目摄像头标准版，双目帧在硬件上同步。以60Hz的频率采集图像，分辨率达到752×480像素，如图2.2为小觅双目标准摄像头。内置六轴IMU传感器，频率可以达到500Hz。双目基线120mm。采用全局快门，可实现两个摄像头的所有像元同时曝光。在高速移动的拍摄场景中，能有效降低图像畸变，提供更加精准的图像源。

特点

（1）IMU 六轴传感器，IMU 与图像的同步精度高达0.05ms，为 SLAM 算法以及 空间移动算法的研发提供数据校正；

（2）IR 主动光，2颗IR主动光探测器发射的红外结构光,有效增强白墙和玻璃等物体 的识别精度,适用于完全黑暗环境；

自动白平衡，精准调教的感光元件和镜头提供室内外感光的自适应和调节；

（3）双目帧同步，提供两颗摄像头的硬件级帧同步，减小因图像不同步而导致的误 差；

（4）全局快门，实现每个像元的同时曝光有效降低高速移动拍摄时的图像畸变；

（5）灰度镜头，提供清晰的黑白视觉研究图像源，分辨率为752x480/60fps；

（6）基线长度，120mm 的基线长度适用绝大多数双目应用场景；

（7）铝合金外壳，阳极铝加工外壳坚固耐用，采用标准 1/4”螺丝接口；

（8）适用于双目SLAM研究，支持 VINS,OKVIS, ORB_SLAM2,VIORB 等多个开源 VSLAM 项目,并在 SDK 中提供样例；

（9）CUDA 加速，提供基于 CUDA 加速的实时深度输出,使 GPU 能够解决复杂的计算问题；

（10）丰富数据信息，通过 SDK 获取原始数据/校正双目图像、视差图像、实时深度图像、实时点云图像、IMU 数据等；

（11）多平台SDK，SDK 适配 Windows、Linux、ROS、Mac、Android、TX1/2 等多种平台，并提供丰富工具。

4、Jetson TX2机载图像处理板

Jetson TX2是无人机平台搭载的深度学习目标检测算法运行板，为后期将图像处理移植于机载端进行处理，是深度学习、计算机视觉、图像处理和GPU计算的优秀系统，非常适合于无人机、自主机器人、移动医学成像等嵌入式系统应用。

Jetson TX2为2017年3月发布的新一代产品，集成256核NVIDIA Pascal GPU和一个6核64位的ARMv8处理器集群，拥有8GBLPDDR4 128位内存。ARMv8处理器集群包含一个双核NVIDIA Denver 2以及一个4核ARM Cortex-A57。Jetson TX2模块大小为50 x 87 mm，重量为85克，典型功耗为7.5瓦。

Jetson TX2基于16纳米NVIDIA Tegra “Parker” SOC，其效能比Jetson TX1提升2倍，性能表现超过了Intel Xeon服务器级CPU。

Jetson TX2提供两种运行模态：一种是MAX Q，能效比能达到最高，是上一代的TX1的2倍，功耗在7.5W以下;另一种是MAX P，性能可以做到最高，能效比同样可以做到前一代的2倍，功耗则在15W以下。

5、VR眼镜进可选硬件

VR眼镜主要应用于三维显示使用，其图像来源为图传系统，显示延迟为50ms。

6、可选硬件

可开设课程

双目立体视觉立体深度解算算法设计与实现

三维空间稠密重建算法设计与实现

无人机自主slam运动状态估计算法设计与实现

无人机自主slam导航定位算法设计与实现

无人机自主slam导航路径规划算法设计与实现

无人机自主slam导航避障算法设计与实现

软件开发与技术支持

1、基于机器视觉无人平台自主导航避障系统软件开发体系

基于机器视觉无人平台自主导航避障系统软件开发体系由视觉开发平台、信息交互与任务控制平台、无人机系统等组成。

双目摄像头采集图像，通过立体匹配技术计算出二维图像的深度信息，同时利用视觉惯性融合技术估计相机自身的运动姿态，融合多帧深度信息，重建空间环境的体素地图。由地图获取障碍物距离信息，生成可执行路径。

视觉开发平台：由视觉开发训练环境Jetson TX2 视觉处理开发系统等组成、视觉定位平台、环境重建系统等组成。信息交互与任务控制平台：由信息交互程序、避障与路径规划算法、无人机位置导航控制程序等组成。

系统软件运行架构如下图所示：

2、技术服务

1）开发环境

提供全套基于机器视觉无人平台自主导航避障系统软件开发体系：视觉端开发环境、 Mavros开发环境、飞控开发环境

2）软件源码

提供全套基于机器视觉无人平台自主导航避障系统相关源代码：

a、视觉系统代码

立体视觉：

主要是在双目立体视觉系统中，获取图像的深度图。基于立体匹配的生成概率模型ELAS立体视觉算法，用于快速匹配高分辨率图像。在双目立体图像间建立点点对应然后根据对应点的视差计算出深度。用左右图像的互相推测，来执行左右一致性检查，消除遮挡区域中的虚假不匹配和视差。

运动估计：

主要用于计算每帧图像无人机的位姿。通过滑动窗口优化进行实时光流点跟踪与匹配，视觉和IMU的紧耦合。通过稀疏特征点提取与跟踪、IMU预积分与初始化处理、KLT光流法进行后端融合优化、利用共视的特征点进行闭环检测等步骤，完成利用视觉惯导融合的定位算法，实现无人机精确定位。

稠密重建：

主要实现单帧深度图融合，重建出无人机的环境。采用在线实时动态增量式生ESDF算法。ESDF是基于体素网格的方法，每个点包含了该点到最近障碍物的欧几里得距离。在计算机图形和视觉应用中，TSDF近来已经成为一种常用的隐函数表面表示方法。因为TSDF的快速重建和过滤传感器噪声，并且可以使用子体素分辨率创建人类可读的地图网格。

航迹规划：

根据传感器的信息来不断地更新其内部的环境信息，从而确定出机器人在地图中的当前位置及周围局部范围内的障碍物分布情况，并在此基础上，规划出一条从当前点到某一子目标点的最优无碰撞路径。

Mavros程序

Mavros的最底层程序完成Mavros消息发布与订阅，负责将飞控发来的mavlink消息转换为ros中的话题，为上层的程序提供消息订阅，将任务层发出的ros话题转换为mavlink消息发送给飞控。

b、无人机位置控制程序

位置控制程序包含位置估计程序与位置控制程序，代替了飞控中位置控制程序的一部分功能，然后在这个基础上借助命令发布这个话题给上层应用提供了接口，便于上层开发。位置估计做为飞控的位置姿态状态估计，将雷达定位信息转成飞控能够使用的类型发送给飞控进行解算。

c、任务层程序

无人机基本动作控制程序：一键起飞、降落、悬停、紧急上锁、惯性系及机体系下的控制指令等无人机自主控制程序。

组合功能控制程序：自主着陆、自主跟踪、路径自主规划等无人机自主复杂功能控制程序。

3）提供功能示例

利用双目相机实现无人机自主避障功能及slam路径规划。

场景建模和路径搜索作为无人机避障系统较新研究方向，相信会让无人机自主避障碍方面的科学研究有更多的技术成果突破。而slam导航避障算法，会帮助更多高校进行最新的无人机自主避障碍教学研究。

该技术团队由北京航空航天大学、清华大学、哈尔滨工业大学等知名高校毕业的博士和硕士组成，拥有多年教育类无人机系统的研发经验，卓翼智能公司与多个高校建立重点实验室合作，与北航、清华大学、浙江大学、哈工大等多所著名高校的飞行控制实验室建立长期深度合作。数位资历深厚的北航教授、副教授担任技术顾问，确保研发环境和设备的先进性及行业技术的前瞻性。在无人机设计开发系统、飞行控制、抗风稳定、slam视觉导航、集群与协同、高精度室内定位系统、无人车等多个领域拥有国内一流的核心技术，拥有国内多项技术专利。