图像的多类型中文描述生成系统

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:xiaozhao550
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像描述是一个将计算机视觉和自然语言处理巧妙结合的任务,它将输入的图片直接转化为人们能理解的文字。图像描述在图像语义辅助理解、图像检索等方面有很强的实用价值。对图像生成多种类型的描述,从易用性、实用性、创新性等方面来说,都具有一定的参考价值。本文提出了一种图像的多类型中文描述生成方法,并开发了一套图像多类型中文描述生成系统。描述类型包括中文文本描述、古诗和佳句。针对中文文本描述的生成,在目前效果较好的英文文本描述算法的基础上,采用了效果更好的图像特征提取层。由于中文分词存在歧义等问题,采用了基于字的描述生成方法。由于文本生成过程中不能对不同区域的图像特征进行权重配置,采用了注意力机制计算不同时刻不同区域的图像特征权重值。结合最优的超参数和大规模中文文本描述数据集,训练出一个优秀的中文文本描述生成模型。同时,对文本描述提取关键词,根据关键词生成古诗和佳句。针对古诗的生成,通过文本描述提取的关键词联想出四个诗歌关键词,然后采用双端多层LSTM结构对当前句的关键词和上文信息进行编码,采用基于注意力机制的编码器-解码器模型生成当前诗句。针对名言佳句的生成,通过比较和分析深度学习自动生成方法和关键词匹配方法的结果,确定最终采用关键词匹配方法,匹配所爬取的佳句数据集中最合适的一条佳句。针对系统的开发,设计并开发了一套简洁、易扩展的系统,并和训练好的模型进行集成。整个系统具有较强的可用性,各项描述生成时间基本控制在三秒以内。若能进一步获得更好的计算资源和完备的标记数据,论文所述算法在参数模型、评价指标等方面有望取得更大的突破。
其他文献
随着城市化进程的不断加快,人们对园林施工的管理也提出了更高的要求。本文首先分析了园林施工管理的现状,从多方面进行了提高园林施工管理水平的分析,以进一步促进园林施工
全球气候变暖已成为不争的事实,N2O具有增温潜势大,吸收大气中长波辐射破坏臭氧层并且能够长期留存于大气中等特点,人们越来越关注N2O浓度升高对全球气候变暖和臭氧层的影响。据
园林工程建设中要注意应采取多种水土保持措施,防止施工过程中操作不当引起水土流失,破坏自然环境。在园林施工的各环节应用水土保持技术,合理规划施工路径、施工方法,可以为
研究表面活性剂对污泥脱水性能的影响,并探讨其作用机理。实验结果表明,表面活性剂与Fe3+和CaO联用能有效提高污泥的机械脱水程度。表面活性剂的作用机理是,分散作用使污泥絮
陆费逵(1886~1941年),字伯鸿,创办并主政中华书局30年,事无巨细必躬亲之,对中华书局的影响颇大.在与比中华书局早成立10多年的商务印书馆的竞争中,陆费逵不惧困难,锐意进取,显
针对某220 k V变电站35 k V母线电压互感器高压熔丝频繁熔断现象,结合变电站的系统运行方式,通过对统计数据进行分析,逐步排除了二次消谐装置异常、熔丝过热等一系列因素;通
岩爆是深部隧洞开挖过程中常见的工程地质灾害,通常伴随着岩石块体的快速弹射。岩爆的发生具有突发性、随机性和破坏性,往往会阻碍施工的顺利进行,甚至还会造成人员伤亡。随
<正>林德尔·福恩斯·厄威克(Lyndall Fownes Urwick),1891年出生,是英国著名的管理史学家、教育学家、管理学家,在英国牛津大学受过教育。由于他在第一次世界大战和第二次世
内部审计是公司治理和公司内部控制的有机组成部分,2008年5月中央五部委联合发布的《企业内部控制基本规范》对我国上市公司的内部审计提出了更高的要求,但并未限定其具体模
本文认为,在婚姻观问题上马克思与黑格尔具有许多相似之处,但通过对比研究发现,马克思婚姻观中对爱情的定义、婚姻的实现形式以及在婚姻中妇女的地位等方面的观点超越了黑格