【摘 要】
:
近年来,随着半导体技术的不断进步,图像传感器采集到的图像分辨率越来越高,然而受限于镜头的曲率,单镜头采集到的图像视角范围最高仅达220度左右,存在视角盲区。全景相机较传统摄像头的突出优势就在于视角范围全覆盖,但是传统全景相机方案很难应用在视频直播领域。人工智能算法在智能安防设备领域展现出极大的发展潜力,常规方案是将人工智能算法部署在云端服务器之上,通过配置数量可观的摄像头避免产生监控盲区,依托服务
论文部分内容阅读
近年来,随着半导体技术的不断进步,图像传感器采集到的图像分辨率越来越高,然而受限于镜头的曲率,单镜头采集到的图像视角范围最高仅达220度左右,存在视角盲区。全景相机较传统摄像头的突出优势就在于视角范围全覆盖,但是传统全景相机方案很难应用在视频直播领域。人工智能算法在智能安防设备领域展现出极大的发展潜力,常规方案是将人工智能算法部署在云端服务器之上,通过配置数量可观的摄像头避免产生监控盲区,依托服务器的超强算力实现人工智能应用,成本及功耗都极大。因此针对上述问题,本文设计实现了基于海思视频人工智能处理器Hi3559A的全景人脸检测系统,以较低的时延实现了全景视频直播,同时利用人工智能技术在端侧实现基于卷积神经网络的人脸检测算法。本项目设计了基于海思视频人工智能处理器实现全景人脸检测系统,相较于传统的解决方案,本项目以较低的时延、较低的成本实现了全景视频直播。项目在全景视频的基础上又结合深度学习目标检测技术,通过训练基于深度卷积神经网络的人脸目标检测模型,利用深度学习神经网络加速器实现了在嵌入式全景设备端人脸目标检测模型的移植,最终实现在嵌入式全景设备上实现对全景人脸目标的实时检测。项目中使用H.265编码器进行视频压缩并将压缩后的码流传至PC机上专用播放器进行实时解码播放,最终形成集全景视频采集拼接、全景视频编码推流、人脸检测、全景视频播放等功能在内的完整系统。论文中首先进行了系统方案设计论证,采用海思视频人工智能处理器Hi3559A作为平台,设计样机的硬件电路及全景相机机械结构。利用全景拼接单元进行720度全景视频实时拼接,输出全景图像分辨率达到8K,采用H.265高性能图像编码器,在保证视频质量的前提下尽可能的压缩视频数据降低传输带宽。接着介绍了基于深度卷积神经网络的人脸目标检测模型的设计和训练细节,模型经过压缩剪枝后移植到嵌入式设备。论文的最后,在实验室内局域网条件下搭建测试环境进行测试。测试结果表明该设备实现了视频采集拼接,全景视频的视角范围达到720度,视频画面清晰流畅,分辨率达到了超高清(8K),视频帧率稳定在25fps,视频码流60MBps,设备端实时检测全景视频中出现的人脸目标,人脸目标检测识别率达到了0.996,坐标准确率达到0.804,利用双核乒乓处理实现等效40ms的识别速度。通过专用播放器软件可以实现视频的直播,观看视角自由切换,同时播放器还显示出人脸目标识别结果。经过多次试验,验证了系统功能的完整性与鲁棒性,全景系统的性能达到了设定目标。
其他文献
医学图像配准一直是医学影像处理系统中重要的处理环节,能够为后续的融合、重建等任务提供对齐的图像数据。由于医学图像具有极其复杂的组织结构,传统的基于特征等配准方法已无法满足现代医学图像配准对于实时可形变变换的要求,深度学习的快速发展为医学图像配准问题提供了新的解决办法。现有的基于深度学习的医学图像配准方法大多使用深度网络预测单向的配准结果,这一类方法并不能保持原图的拓扑结构;其中一些方法计算双向变形
“十四五”规划提名集成电路,重点攻关碳化硅、氮化镓等宽禁带半导体。相比于Si和Ga As,碳化硅(SiC)材料同时具有宽的禁带(3~3.3e V)、高的击穿电场(2.5~5MV/cm)、高电子漂移速度(2×107cm/s)和高热导率(4.5~4.9W/cm℃)等优势,由SiC制备的器件体积小巧却功能强大。碳化硅外延晶圆是制备碳化硅功率器件的基础,本文采用aixtron最新一代G5 WW设备,基于T
氮化镓(GaN)是第三代半导体材料的典型代表,也是近年来研究的热点。与传统的Si材料相比,其饱和漂移速度高、禁带宽度大、临界击穿场强高、抗辐照特性强。由于其优异的特性,被广泛用于高频大功率领域。随着技术的发展,器件的工作电压越来越高。而器件在高电压情况下,其电学特性发生较大的退化,严重限制了GaN基HEMT器件的发展。因此对GaN基HEMT器件高场应力可靠性进行研究具有非常重要的意义。本文将结合直
高光谱技术的技术基础是全色成像和多光谱技术,自诞生以来在军事及民用领域都发挥了重要的作用。在军事领域,高光谱技术在光谱维上所能提供的数据容量比多光谱技术更大,能准确地从环境背景或伪装中识别军事目标。在民用方面,高光谱技术被广泛地应用到矿物识别,农业管理以及环境监测等领域。本文开展了星载探测地海目标高光谱成像链路中地面目标光学特性建模、海面光学特性建模、目标与背景的复合散射、大气衰减和大气路径辐射、
极化合成孔径雷达(Synthetic Aperture Radar,SAR)图像分类能够及时、准确地感知地表环境信息,推动极化SAR系统在地表覆盖测绘、海洋研究以及战场侦察等遥感领域中的应用,是微波遥感技术领域中的重点研究课题。条件随机场(Conditional Random Field,CRF)是处理极化SAR图像分类的有力工具。如何挖掘区分能力高、泛化能力强的目标极化特征,并构建精确、普适性高
近年来,电信产业星地融合的趋势给低轨卫星星座通信系统的发展注入了新的活力,国内外低轨卫星星座建设计划层出不穷。实现低轨卫星星座通信的首要挑战便是卫星与终端的相对位移引起的多普勒频移,若不进行估计补偿,将严重影响系统的正常工作。此外,随着卫星物联网的发展,在可预见的未来通信设备的部署会越来越密集,这使得频谱资源愈发紧张,在此场景下通信设备需要具备空间信号盲检测的能力以便执行信号的碰撞检测、回避等操作
雷达高分辨成像是雷达研究中的重要组成部分,从这一概念的提出至今,雷达高分辨成像技术一直是国内外研究人员研究的热点领域,同时也产出了许多骄人的成果。合成孔径雷达成像和实孔径雷达成像是两种常见的主动雷达成像系统,根据雷达信号处理的知识可知,雷达的方位分辨率跟雷达的孔径大小息息相关,雷达的孔径越大则其方位分辨能力越强。对于合成孔径雷达而言是通过建立雷达与目标的相对运动而扩展孔径来形成大的虚拟孔径进而提高
近年来,海洋中不断的部署了各种带宽密集型服务和应用,例如大型传感器网络和高清视频/图像传输系统等,伴随而来的是信息量的日益膨胀和对大容量信息传输的激增需求。尽管传统的水下声通信(Underwater Acoustic Communication,UAC)已经具有较高的技术成熟度,但由于其使用了低速声波,因此也带来了容量低和延时大的问题;而对于采用蓝绿色光波作为通信载体的水下光通信来说(Underw
随着通信需求的不断提升,第五代移动通信(5G)在2020年开始正式商用,polar码以其优异的编码性能成为增强型移动宽带场景下的控制信道编码方案,针对polar码的编译码设计是5G系统中一个至关重要的步骤。然而,典型的polar码构造方案一般基于连续消除(SC)译码算法设计,且只适用于特定的信道环境,对于信道极化不充分的有限长polar码来说,同一编码方案在不同条件下性能差异巨大。另外,polar