基于卷积神经网络的双目匹配算法研究及其FPGA实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:abc123student
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
双目立体视觉是基于2D平面图像获取拍摄场景中深度信息的技术,是计算机视觉领域中的重要研究方向,相比其他测距方式,双目立体视觉具有隐蔽性好、设备成本低且体积开支小等优点。双目立体视觉在航空航天、自动驾驶、遥感探测以及机器人领域都有着重要的作用。双目匹配算法在双目立体视觉中起着决定性的作用,双目匹配算法是利用不同视角拍摄图像的像素对应关系来预测视差。目前,基于卷积神经网络的双目匹配算法其性能令人印象深刻,但是仍存在一些问题:这些算法主要基于GPU平台进行设计与实现,其功耗开支较大。因此本文对基于卷积神经网络的双目匹配算法进行进一步的研究,主要工作如下:(1)基于卷积神经网络的双目匹配算法主要基于GPU平台进行设计,采用GPU硬件加速的形式实现,其功耗开支较大。针对这一问题,本文详细分析了经典双目匹配算法PSMNet网络结构,对其每个关键算子都提出了相应的硬件设计方案:针对卷积算子,首先使用通用矩阵向量乘法(General Matrix-Vector Multiplication,GEMV)实现卷积运算;其次在GEMV加法树中引入临时缓存进行残差加法实现残差运算。针对池化算子,通过复用卷积算子电路实现平均池化,提高硬件利用率。在加速器架构上,首先设计了乒乓缓存与乒乓寄存器两种结构进一步提升加速器计算模块的硬件利用率;其次设计了两路AXI slave接口分别用于数据缓存与寄存器配置,提高了硬件加速效率。(2)为验证加速器效果,本文基于航天九院第772所SPARC处理器内核完成了智能So C系统设计,并在FPGA平台Virtex Ultra Scale+XCVU9PFLGA2104-2-e上完成部署。首先,本文针对智能So C系统高速率数据传输的需求,完成了AXI总线架构设计以及时钟复位网络设计,同时设计了双DMA Master系统架构以实现高效数据交互,完成了各功能模块的集成工作。其次,针对So C系统的FPGA实现,本文利用对电路模块施加物理约束、更改综合布局布线策略、使用Xilinx原语等方式完成了RTL代码综合,生成So C系统的比特流文件。最后,本文在PC机上完成调试环境的搭建,并对本智能So C系统进行调试与测试。测试表明,本文设计的智能So C系统各电路模块功能正常。为进一步评估本文设计的加速器与So C系统工作性能,本文使用KITTI数据集进行了相关实验,比较与分析了So C系统与GTX 1080ti的PSMNet网络单张图计算时间与视差图准确率,得到的实验结果证实了硬件加速器的可行性与计算效率的优越性。本文所设计的加速器与So C系统在50MHz主频与6.02W功耗下,PSMNet网络在KITTI数据集上能在1.206s的时间内达到三像素错误率为2.25%,平均误差为0.8pixel。
其他文献
模数转换器在信号处理系统中占据重要地位,直接射频采样概念的提出,使模数转换器朝向GS/s级高带宽方向发展。现代工艺下,电源电压幅值减小,输入信号电压摆幅缩小等劣势逐渐明显,打包电路对于时间边沿分辨率已经超过对电压的分辨率,电压域模数转换器从电压域转换到时间域是未来发展的一种研究趋势。时间域模数转换器因其独特的信息传输方式,能够克服电压域电压幅值减小,输入信号电压摆幅缩小等劣势,同时能够享受摩尔定律
学位
随着科学技术的发展,人们对于地球外空间的探索逐步深入,半导体器件长期运行在强辐照环境中,器件的可靠性减弱。β-Ga2O3材料的禁带宽度高达4.9 eV,强键合力使得其天然的具有优秀的抗辐照能力,适合应用于航天系统中。重离子广泛存在于空间辐照环境中,不同能量与剂量的重离子辐照β-Ga2O3基SBD会产生不同类型的损伤,引起器件性能退化甚至失效。因此,本文开展β-Ga2O3基肖特基二极管的重离子辐照研
学位
彩色图像通常是采用覆盖有色彩滤波阵列(Color Filter Array,CFA)的CCD/CMOS传感器完成采集,通过这种空间采样方式采集到的CFA图像不仅缺少完整的颜色信息,而且还夹杂着传感器测量噪声,从而严重影响人类视觉系统从上述CFA图像中获取有效信息。因此,需进行包含图像去噪和图像去马赛克的CFA图像复原处理,将其还原成反映真实场景纹理和色彩的RGB图像才能有效的应用于国防安全、AIo
学位
随着摩尔定律的发展以及集成电路在航空航天领域的应用,使得器件在辐照环境下的非理想效应越来越受关注。体硅工艺在辐照环境下稳定性较差,并且随着工艺尺寸的缩小,体硅工艺器件的短沟道效应日益显著。而全耗尽绝缘体上硅(FDSOI)技术由于埋氧层(BOX)的存在,使得其在抗单粒子以及瞬态剂量率方面很有优势,并且其在一定程度上改善了短沟道效应。但是由于BOX层的存在,也使得FDSOI器件的抗总剂量效应变差。在超
学位
模数转换器(ADC)能将现实世界的模拟信号转换成更容易处理的数字信号,这一特性使其成为了大多数电子产品中不可或缺的模块。随着5G、人工智能、物联网、汽车电子等新兴应用的发展,未来几年对于ADC芯片的需求也会持续增长。由于逐次逼近型模数转换器(SAR ADC)有着结构简单、功耗低、面积小、与数字CMOS工艺兼容的优点,所以高性能SAR ADC始终是一个研究热点。本文通过研究目前国内外高速SAR AD
学位
半导体技术在现代信息化社会中发挥着不可替代的作用。制备大功率、低功耗半导体器件是我国半导体技术战略规划的重点之一。超宽禁带半导体氧化镓(Ga2O3)具有大的击穿场强和Baliga优值、低的制备成本,极有潜力实现耐高压、大功率、低损耗的功率器件以及光电器件。但是目前Ga2O3器件性能远低于预期,主要是因为金属电极-Ga2O3界面有较大的肖特基势垒和接触电阻导致器件存在漏电和散射等问题。因此,改善金属
学位
近年来,MoS2作为最具代表性的二维半导体材料之一,以其不同于寻常的电子和光学特性越来越受到研究者的关注。与石墨烯相比,原子级厚度的MoS2因具有与厚度相关的带隙(1.2e V-1.9e V)、室温下具有较高的本征电子迁移率等性质,使其在器件应用中具有很大的优势。基于超薄(单层或多层)MoS2沟道的场效应管具有高开关电流比、接近理想的亚阈值摆幅和很高的电子迁移率,非常适合制造低功耗逻辑电路、非易失
学位
GaN基碰撞电离雪崩时间渡越(Impact Ionization Avalanche Transit Time,IMPATT)二极管是一种具有广泛应用前景的太赫兹频率源,但目前GaN基IMPATT二极管由于受到工艺以及体材料饱和电子漂移速度的限制,其工作频率、输出功率以及转换效率很低,严重的制约了GaN基IMPATT二极管在太赫兹频率源方面的应用。因此,本文针对这两个问题创新性的设计了一种GaN基
学位
从原始社会到文明社会,人类跨文化交流的历史久远,在今天与世界其他国家互相了解、友好对话、传播互动已经成为大多数国家公认的主题。在跨文化传播领域,研究外国媒体通过其媒介载体传播中国文化符号的传播视角是提升国家跨文化能力的重要参考。同时,现有研究多以英语地区为研究对象,加强对俄语地区的研究意义重大,既有历史渊源又有现实价值。本文选取“一带一路”中国战略伙伴关系国——乌克兰的一档全球旅游类电视节目《Or
学位
随着自动驾驶汽车、无人机和可穿戴电子等新型领域的快速发展,对光电探测器的轻量化、非致冷甚至机械柔性有了更高的要求,这使得传统光电探测器出现了瓶颈。2004年石墨烯横空出世打破了这一僵局,随后具有高吸光性、高载流子迁移率、超薄厚度的二维层状材料在光电子学领域备受关注。目前以MoS2为代表的过渡金属硫化物在光电探测领域的应用最为广泛,但由于其厚度的限制,MoS2对光的吸收相对较弱,灵敏性较差,且只能响
学位