基于多尺度特征融合的市场摊区监控视频语义分析方法研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:kmffly
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,市场摊区管理方式为人工监督管理,管理效率低,造成大量人力物力浪费。视频监控方式正逐步应用到市场摊区管理场景,图像语义描述作为当前研究的热点,在工业视频监控上有广阔的应用前景。近几年,针对图像语义描述生成的研究取得一定的成果,但同时存在着许多问题和不足。例如,图像属性信息提取不完整、属性之间的关系描述不准确、语义描述生成过程图像信息部分丢失和生成的描述语句不够通顺等。针对上述问题,论文提出一种基于多尺度特征融合的市场摊区监控视频语义分析方法,主要研究内容如下:(1)提出基于多尺度特征融合的图像特征融合方法。针对目标多样化和背景复杂的市场摊区图像,采用卷积神经网络提取图像不同尺度的视觉特征,并将不同尺度的图像特征有效融合,使得融合的特征向量包含更加详细的图像信息,有效缓解图像信息丢失问题。(2)构建基于多尺度特征融合和自适应注意力的图像语义描述生成模型。在编码阶段将图像特征进行多尺度融合,提取更加精确的摊区图像信息。在解码器部分采用自适应注意力机制,模型在生成图像语义描述的过程可自适应调整图像视觉特征和已生成词语信息的权重矩阵,使得生成的描述语句效果更佳,语法更通顺。(3)构建基于迁移学习的市场摊区监控视频语义描述生成模型。将(2)中的模型在自制作的摊区图像描述数据集上进行迁移训练,得到摊区图像语义描述生成模型。对于一段摊区监控视频,固定间隔时间段截取视频帧,并生成视频帧的对应描述语句,分析违法溢出和占道经营的摊位,协助管理人员管理市场摊区,提高管理效率。实验结果表明论文模型在共有数据集上生成的语句效果更佳,在评价指标BLEU和CIDEr上相对于其他几个典型图像语义描述模型有所提升。对于输入的市场摊区图像可生成对应的正确描述语句,描述语句中包含正确的摊区图像信息,可用于协助管理人员智能化管理市场摊区,提高管理效率。
其他文献
随着软件项目数量的日益增加,软件质量已经变得越来越重要。软件工程领域的许多研究人员和工程师都在关注软件缺陷管理任务,只有极少数的研究人员关注阻塞缺陷预测问题。开发人员修复的模块依赖于有阻塞缺陷的模块,且阻塞缺陷的修复时间也较长,因此自动预测软件缺陷是否属于阻塞缺陷会让开发人员或者测试人员提前预知该类缺陷,并进行相应的应对策略(比如减少该类缺陷的耦合程度),这可以帮助减小阻塞缺陷给软件开发和修复带来
在云计算的相关研究中,边缘计算仍然是一个具有挑战性的问题,尤其是为偏远地区的用户提供高质量的边缘计算服务。这些偏远地区由于缺乏基础设施,导致无法部署边缘服务器、用户缺少通信手段,使得为用户提供计算服务及其困难。为了解决该问题,目前相关研究考虑通过在无人机上搭载服务器为用户提供边缘计算服务。然而,这些相关研究主要关注于如何为独立的用户提供高质量的计算服务,很少有人对关联用户的边缘计算问题进行研究。同
由于施工技术、混凝土和易性差、地下水等不利因素的影响,桩基础在施工和使用中易产生缩径缺陷,影响其竖向承载力和可靠度指标,导致实际桩的承载力与设计值出现偏差。目前上部结构设计已采用基于可靠度的概率极限状态设计法。然而,作为下部结构,尤其是桩基工程设计仍采用传统的安全系数设计法。为了与上部结构的可靠度设计方法相统一,研究缩径(承台)单桩的竖向承载性能、可靠度指标和抗力分项系数,科学合理的评价桩基安全尤
针对现有移动自组织网络AODV路由协议黑洞攻击检测方法无法适应攻击模型改变和网络负载变化的问题,本文提出一种自适应动态阈值的AODV黑洞攻击检测方法(Adaptive Dynamic Threshold Method)。本文方法对收集到的序列号进行分类处理得到疑似恶意序列号和正常序列号的集合,通过正常序列号集合计算能够反映序列号增长规律的阈值,并将阈值反馈于分类处理。该方法由两个阶段构成,在序列号
传统的网络安全防护工具如入侵检测系统、网络防火墙只能在OSI较低的层面工作,对于应用层的攻击束手无策。Web应用防火墙是介于用户和Web应用程序之间的一个攻击检测系统,能够有效保证内部信息安全。但是传统的Web应用防火墙使用特征匹配规则库存在明显缺陷,对于新型攻击无能为力。近几年,机器学习技术应用到了Web攻击检测领域,效率有了很大的提高,但是浅层的机器学习检测效率还需要进一步提升。针对以上本文提
随着生成对抗思想和迁移学习在计算机视觉领域的广泛应用,数据生成方向上取得了长足进展,例如:图像生成、图像修复、超分辨率和图像风格转换等。其中,图像风格迁移可以广泛应用于照片合成、电影合成、装饰设计和隐私保护等领域,也可以用在工业网络和智能安全方面。图像风格化是风格转换的一种艺术表现形式,模仿艺术家的创作手法,并具有一定的观赏价值。本文利用深度神经网络中的Ghost模块从廉价线性操作中生成更多的特征
随着水下快速目标的出现,由于其小,快,灵的特点,水下快速目标逐渐成为一种水下的重要武器。而水下的环境日益复杂,传统的方法很难有很好的识别效果,所以更好的识别水下快速目标对保护海洋权益而言是一项新兴的重要任务。信息融合通过结合多传感器的数据提高对目标识别的准确率,在本文的背景下,通过融合多声呐测得的信号达到提高水下快速目标识别准确率的目的。本文使用加权特征融合对多传感器数据进行融合。本文主要研究了以
粮食安全是维护经济发展、社会稳定最重要的压舱石。大米是我们的重要主食之一,大米的质量检测对人们生活品质和粮食产业的发展都具有十分重要的意义。在进行大米品质检测时,常常存在粘连米粒无法处理的问题,对检测工作产生不利影响。对多粒粘连大米进行正确分割,是粮食品质检测的迫切要求。由于米粒粘连情况复杂,目前见诸于文献的几乎都是针对较简单情况的分割算法,与实际粮食检测中的各种复杂情况相距甚远。鉴于此,本文对多
真实、客观的文物照片及病害信息是文物保护修复方案与档案中必不可少的组成部分。目前实际工作中,对文物照片的后期处理停留在还原真实色彩、主观矫正图像畸变上,病害图绘制采用传统手绘或借助制图程序进行标记,没有完全达到文物保护原真性的要求。图像处理及病害标记程序将处理文物照片、绘制病害图、生成病害信息、成本估算多个工作流程结合于一体,以科学的方式准确还原文物照片及病害信息,是一套专门为文物保护行业设计的新
随着互联网的快速发展,海量数据不断增加,能够通过网络快速接触各种信息的便利性使我们进入到了信息过载的时代,如何缓解信息过载成为了现代发展的主要问题。个性化推荐技术是解决这些挑战、弥合用户与信息之间鸿沟的有效工具之一。原始推荐系统向所有用户提供相同的推荐信息,不会根据用户的偏好对其进行个性化推荐。随着互联网信息数量的增加,用户的个性化需求越来越大,因此引入个性化推荐具有重要意义。协同过滤算法是一种广