随着科技水平的不断进步,人工智能技术在无人系统领域中得到了广泛的应用,使无人系统能更加智能、高效地解决日常生活、工业生产中一些问题。本文针对无人系统中的障碍规避、目标跟随、单目深度估计、环视系统搭建与语义地图建立五个场景感知任务,提出了可行的解决方案,并在无人机与自动引导运输车（AGV）两种无人系统平台上,对所提方法进行了验证。首先本文提出了一种环境未知场景下,基于单目深度估计的障碍规避方法。在视觉传感器为单目相机的情况下,本文为了弥补单目相机无法直接获取距离信息这一缺陷,采用深度估计方法由RGB图像生成深度图,实现无人系统与障碍物间的距离感知。该方法可以在环境未知的情况下,不需要建立全局地图,只依靠深度信息即可完成避障任务。在碰撞检测模块中,本文引入了机器人学中的构型空间,基于深度图生成构型空间图像,并以此作为避障判断的基础。最终根据预先设定的安全距离,对构型空间图像进行处理,输出相应的控制指令成功避开障碍物。基于上文的障碍规避算法,本文提出了一种兼顾避障的运动目标跟随算法。本文算法能有效处理跟随过程中出现的目标遮挡与目标丢失情况,并可以使无人系统在目标跟随的同时,尽可能避开障碍物。基于相关滤波跟踪算法KCF（Kernelized Correlation Filter）,本文结合卡尔曼滤波对目标轨迹进行预测,避免了目标遮挡导致的跟踪偏移。针对跟踪目标丢失情况,提出了一种结合运动状态估计的目标找回方案,优化搜索区域,更快找回跟踪目标。最后设计了一种动态目标跟随控制策略,将目标始终保持在视野的中心,保持无人系统与目标距离的恒定,避免可能的碰撞。上述两部分算法基于单目深度估计所获取的深度信息,实现了无人系统的障碍规避及目标跟随,然而传统的单目深度估计网络模型较为复杂,理论计算量较大,难以部署在嵌入式平台。本文提出了一种方便部署在嵌入式平台的轻量级单目深度估计网络,重新设计了编码器与解码器的网络结构,压缩了模型大小并保持了与传统模型相当的精度。KITTI数据集与Make3D数据集的实验结果证明了本章所提轻量级单目深度估计网络在模型大小与深度估计准确率上的优越性。环视系统的搭建也是实现无人系统场景感知的重要任务,不同于单目相机,鱼眼相机这类视觉传感器可以提供更广的视场角。在AGV平台中,本文通过鱼眼相机搭建环视系统实现无人系统周围环境360°的场景感知,最终合成一张垂直地面向下的鸟瞰图。本文针对环视系统中存在的图像拼接模糊且光度不一致的情况,设计了一种优化图像拼接效果的环视系统搭建方案。首先分别标定四个鱼眼相机的内参,根据内参对鱼眼图像进行畸变矫正。随后根据透视变换原理,将四张图像分别放置在最终鸟瞰图的四个位置中,将其进行初始拼接。对于拼接过程中出现的亮度不一致的情况,本文提出了一种图像融合方案,将图像拼接处重叠部分进行融合,优化图像拼接效果,最终得到理想的鸟瞰图。为了实现后续的定位、导航等功能,本文在上章环视系统图像基础上,建立了基于地面标识信息的语义地图。首先对鸟瞰图进行语义分割,根据地面标识的种类将像素进行分类。根据相邻帧的位姿关系建立局部点云地图,并将若干个局部地图进行融合,获取最终带有语义信息的语义地图。当前地图存在由位姿估计产生的累积误差,根据词袋模型对其进行回环检测,得到回环帧以及当前帧与回环帧之间的位姿关系,最终通过位姿图优化的方式,保证了全局的一致性。