面向视频处理应用的三维阵列智能芯片架构设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:aacaocao7233
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网、大数据和人工智能技术的兴起,深度学习技术依靠其强大的特征提取能力,在计算机视觉、智能体的自主决策以及自然语言处理等方面均取得了显著的成果。深度学习技术的快速发展使得其计算加速方法及架构设计成为学界与工业界的热点。现今主流深度学习加速器对单帧图像的智能处理具备很好的提速效果,然而对于视频应用,单帧图像加速技术的直接运用会造成极大的硬件资源浪费,以及大量重复的片下存储器读写操作。深度卷积神经网络的两种类型的输入数据--输入特征图和权重都支持数据重用。对于输入特征图重用,多个卷积核作用于同一张输入特征图上;而对于卷积核重用,输入特征图上不同滑动窗口的数据使用相同的权重数据,且当一次处理多个输入特征图(称为批处理)时,不同输入特征图上使用相同的卷积核。这三种数据重用实质上利用了卷积层计算的三类并行性:输出通道间的并行性、滑动窗口间的并行性和输入特征图间的并行性。现有的基于数据重用的多权重多线程处理技术对单帧图像处理能够有效提速,然而却存在很多不足:从存储器中读取输入数据并送到计算单元进行计算时,这些所读取的输入数据的位宽一般远远小于存储器的带宽,导致内存带宽的利用率极低;该加速技术只利用了卷积层计算中的滑动窗口间的并行性和输出通道间的并行性,并未利用输入特征图间的并行性;在处理全连接层时,根据全连接层的计算特性,单帧图像的计算只会用到一个线程,多余线程的硬件资源便会浪费。在本论文中拓展基于数据重用的多权重多线程技术用于多帧图像的批处理。设计了多帧图像预处理模块,将连续帧图像对应像素位置的数据拼接起来使输入数据的位宽接近存储器的带宽,根据存储器的带宽来选择每次预处理的图像的数量;根据卷积层计算的三种并行性来设计了三维计算阵列架构,用来计算经多帧图像预处理模块处理后的输入数据;设计了计算调度模块,根据不同网络层的计算特性制定不同的多帧图像数据缓冲、计算、输出和存储策略:卷积层使用计算单元复用的策略,池化层和非首层卷积层使用时分复用的策略以及全连接层使用空分复用的策略。这种多帧图像批处理技术,不仅提高了存储器带宽的利用率,减少了从存储器中读取输入特征图数据和权重数据的次数,降低了片下存储器的访存功耗;而且在处理全连接层的计算时,空分复用的策略可以利用多个线程来并行地处理不同帧图像的数据,减少了硬件资源的浪费。通过在加速器上部署Le Net-5和Alex Net卷积神经网络验证了设计的正确性。针对小型网络Le Net-5,采用了Questasim仿真和FPGA测试的方法,以MNIST数据集中的100张手写体数字图片作为实验样本,多帧图像批处理技术对其分类的准确率达到99%。而对于大型网络Alex Net的测试,采用FPGA测试和Vivado中逻辑分析仪调试相结合的策略。与单帧图像处理技术相比,该技术使系统整体的吞吐量达到原来的3倍。
其他文献
古往今来,图像信息在人们生活工作的方方面面都发挥着至关重要的作用,但由于受各方因素的影响,图像质量并不能得到保证,这对图像恢复的工作提出了更高的要求,去噪和去模糊是图像恢复中主要的成像逆问题。在目前比较流行的深度神经网络方法中经常使用大量数据集来训练模型完成图像恢复工作,但是却无法应对缺少数据或无法获得原始数据的情况。此外,当训练中的观察模型与测试模型不匹配时,深度网络的方法表现不佳。针对以上问题
随着科学技术的不断发展,数字信号处理技术越来越成熟,电子医疗、智能家居、工业控制等领域对于相关技术有了越来越高的需求。模拟电路和数字电路之间的转换电路——ADC,是众多电子类产品中非常重要的电路模块。基于过采样技术与噪声整形技术的Sigma-Delta ADC,具有高精度、高信噪比和容易集成等优点,因此得到了广泛的应用。Sigma-Delta ADC由模拟部分的调制器电路和数字部分的抽取滤波器电路
近场通信(Near Field Communication,简称NFC)技术由非接触式射频识别(RFID)技术及互联互通技术整合演变而来,具有速度快、安全性好、抗干扰能力出色等特点。近年来NFC技术大量应用于包装盒技术,NFC技术的加入使得包装盒对用户更加友好,使得人机交互更加便捷,也促使智能包装逐渐应用于物联网领域。但目前实际应用中的NFC防伪措施存在易伪造、易转移等缺点,无法起到真正的防伪作用
随着量子通信在理论和实验方面的研究逐渐成熟,量子通信技术的实用化成为研究热点,其中,量子保密通信网络是一个重要方向。目前,专用量子通信网络已经在实际场景中成功搭建,但由于专用量子通信网络建设成本太高,并且需要经典网络的辅助,因此研究者们提出一种解决方案,即量子信息、经典信息和量子保密信息共纤传输,搭建经典通信与量子通信兼容的量子城域网。该网络中经典信息可以通过所有路由器进行转发,量子保密信息只能通
本文针对宽带阵列天线进行了研究,主要工作如下:1.结合工程项目需求,研究了具有波束扫描功能的宽带偶极子阵列天线。改进了马春德(marchand)巴伦,所设计的馈电结构实现了三阶阻抗匹配,有效展宽了偶极子天线的带宽。在HFSS软件中对天线进行全波仿真分析,同时给出其等效电路模型,利用HFSS和ADS联合仿真对天线进行带宽验证。所设计出的天线在电压驻波比(VSWR)小于2时,具有72.7%(工作频率范
新型超材料天线相比于传统相控阵天线有着系统简单、成本低、轻便、产生的随机辐射场稳定等多方面的优势,因此近几年超材料天线甚至有着逐步取代相控阵天线的趋势。虽然超材料天线可以代替相控阵天线以获得更高质量的导引头的前视成像,但是由于超材料天线必须使用载频变动的信号,这使得信号回波中出现了一个相位误差,导致适用于相控阵天线的基于压缩感知的超分辨关联成像算法,虽然其成像分辨率高、运算速度较快,但是却无法正常
随着无线通信技术的飞速发展,低频段的频带资源开发日渐饱和,人们迫切需要对毫米波以及更高频率的频谱资源进行开发和利用。间隙波导作为一种非接触式半封闭的新型波导结构,具有低损耗、易加工、可模块化的优势,在毫米波以上频段的天线阵列、大型馈电网络、滤波器、有源器件封装等工程设计中具有广阔的应用前景。毫米波多波束天线可以使用无源波束赋形网络实现毫米波天线的波束扫描,提高天线的增益,实现频谱资源利用率的最大化
近年来,随着图像处理技术以及人工智能深度学习技术的发展,基于计算机视觉的目标检测在精度和速度上都达到了理想的性能。然而在自动驾驶相关领域中,仅依靠图像平面上的二维检测结果,无法有效获取目标在三维空间中的位置与结构信息。虽然依靠激光雷达等传感器设备可以获取空间信息,但相比之下单目相机更为经济便捷。因此,针对单目场景下的三维目标检测技术的研究有着重要的现实意义,同时具有广泛的应用前景。随着深度学习技术
现代战争是电子战和信息战的战争。为了满足侦察、干扰、探测、通信等多样化的作战需求,一个完备的作战平台往往集成了多种分立的电子作战装备,极大限制了作战平台的机动性能。而集侦察、干扰、探测、通信于一体的侦干探通一体化作战平台通过参数可配置的硬件和软件实现单一平台多功能于一体,体积小、灵活度高,是未来作战平台发展的必然趋势。可重构接收机在不改变硬件的条件下仅通过调整可配置参数即可以实现多种信号处理模式,
随着科学技术的发展,人们对语音通信质量也提出了更高的要求。语音通信的过程中会同时受到各种噪声的干扰。在低信噪比环境下,语音会被噪声所淹没,严重影响了语音通信质量,甚至会导致无法进行语音通信。因此,高鲁棒性的语音增强技术愈发重要。多通道语音增强算法引入空域信息,实现在空域上的滤波,提高了去噪性能。然而,该算法对麦克风阵列的尺寸、数目和位置都有严格的要求,设备维护要求较高,不利用低成本设备的应用。因此