基于深度学习融合模型的图像场景理解

来源 :成都信息工程大学 | 被引量 : 0次 | 上传用户:jack88698
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代互联网技术的飞速发展,特别是智能手机等电子设备的普及,人们日常接收的信息量正以指数级别增长,其中绝大部分感知信息来源于人类视觉。而图像作为视觉信息的载体之一,本身隐藏着大量的重要信息。图像描述技术作为深度学习的重要研究方向之一,涉及计算机视觉和自然语言处理两个领域,在图像识别,无人驾驶方面拥有较为出色的表现。本文利用深度学习远超传统技术的优异性能,对图像场景描述模型进行建模,并展开了相应的探索研究,其具体研究内容如下:(1)从卷积神经网络特征表达能力不足和长短期记忆网络缺乏信息指导的问题出发,设计了基于RBM和gLSTM的图像场景描述模型。权值矩阵是决定深度神经网络特征提取能力好坏的重要表现之一,本文分析了受限玻尔兹曼机训练过程中无监督学习和反向传播距离较短的特点,其权值矩阵更加拟合训练样本。基于此,本文采用受限玻尔兹曼机为卷积神经网络训练并初始化权值矩阵,从而有效提高卷积神经网络特征表达的能力。另外,考虑到传统长短期记忆网络仅拥有开始时刻图像特征的指导,故研究了三种不同的语义信息,在每一时刻指导长短期记忆网络生成描述语句,从而提高描述语句的准确性。最后,在数据集Flickr8k和Flickr30k上进行了实验仿真。实验结果表明,模型对描述语句的精确率,召回率和连贯性有着显著提高,其BLEU和METEOR指标评分比同类型模型平均高2.2分,另外,卷积神经网络准确率也平稳在93%,并且收敛速度更快更平滑,也从侧面说明经受限玻尔兹曼机优化过的卷积神经网络性能更加优异。(2)对中间语义特征和描述语句之间的关系进行研究,设计了基于PCA与Attention的图像场景描述模型。分析了中间语义特征质量对描述语句准确率的影响,决定采用主成分分析的方法降低特征维度。利用一个特征投影空间,计算图像特征的投影,提高特征对比度。其次,借鉴人脑的注意力机制,将软注意力机制加入模型框架。通过加权求和,计算与当前描述语句最相关的中间语义特征,让模型能够忽略中间语义特征中的无关信息而关注重点信息。最后实验表明,该模型的BLEU和METEOR指标评分比其余模型平均高1.42分和1.61分,验证了模型的有效性。其次,均衡化之后的图像灰度均匀分布在0250之间,PCA重构误差在0.05×10-7左右,侧面说明了该模型在降低特征维度和提高对比度的同时,保留了图像信息。另外,通过注意力可视化,验证了该模型将注意力的焦点聚集在图像的特定区域。
其他文献
税收是国家进行宏观调控的一项重要手段,在企业并购行为中充当着十分重要的角色,税务机关在执法过程中行为的裁量和税收政策的某种变化,都可能在不同程度上影响着企业的并购
科学合理的空间结构能够促进区域资源高效利用,避免交通拥堵、住房紧张、资源稀缺等“城市病”,是区域发展的“调节器”和“助推器”。基于此,该论文为探讨长江经济带空间结
案例教学自产生至今,被广泛应用在各学科领域的教学之中。然而,案例教学在我国初中思品教育中可谓是广泛运用,优缺点并存。在总结案例教学的作用的基础上,对案例的选取进行分析,并提出自己的见解。  案例教学思品教育应用一、案例教学在思品教育中的作用  教师通常在课前结合教学大纲选取恰当的案例,并针对案例重点提出问题,给学生指定相应范围的参考书籍阅读,并提出问题;学生通过阅读教师指定的文书籍,或自主搜集相关
2007年以来,风机行业在全国机械工业平稳快速发展的大环境影响下,延续了上年良好的发展态势,工业生产继续保持平稳增长、经济效益稳步提升。从对23家重点企业上报的统计资料看,风
催化裂化主风机组转子故障中60%是由不对中引起的。利用状态监测和故障诊断技术,分析了转子不对中的振动特征,诊断出转子的故障部位和故障原因,并为机组的维护提供科学依据。
马尾松是我国南方主要的造林先锋树种,在荒漠造林、沟壑治理、庭园绿化等方面有重要的使用价值。也是我国主要的用材树种之一,主要用于提供家具、建筑、木纤维工业等方面的原
填空题是每年高考失分率较高的题型,其原因不仅仅是简单的运算准确性的问题.因此,探索填空题失分的原因,寻求对策,对提高我们的复习效益就显得十分重要.本文详细分析这些常见错误的
诞生于艰难之时陆河地灵,蔚起人文。“一个地方的经济发展水平最终由其教育水平决定。”陆河县高擎“科教兴县”的旗帜,坚持“教育兴,百业兴”的科学发展理念。而振兴教育,首先要
作文教学一直是教学中的难点,但是,只要用心去探索,去琢磨,总有一天会揭开作文教学的面纱,引领学生走进广阔的作文天地。
【考点大扫描】  排序题考查的是语言连贯能力。连贯是指一个语段的各个句子之间,或是一个复句的各个分句之间,在内容和形式上都接得上,扣得紧,意思贯通,文笔流畅,准确、完整地表达一个意思。这个考点能力层级为D级。从1990年至2009年,排序题高考年年有。  排序题的命题特征是:题型较为稳定,内容上多考查语句的衔接、句子的顺序调整等。题型主要是排列句序和语句复位。排列句序是通过语段结构关系的客观规定性