基于域内与域间知识的文档布局分析算法研究

来源 :华东师范大学 | 被引量 : 1次 | 上传用户:Janette
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文档布局分析(Document Layout Analysis,DLA)的目的是将文档图像分解为高级语义区域(即图像、表格、文本和背景),DLA是光学字符识别(Optical Character Recognition,OCR)、文档理解、表格识别以及图像检索等任务的基础。由于文档样式以及文档风格的差别,文档通常被划分为不同类,例如学术类、杂志类,每个类构成了独立的域。在实际布局分析过程中,这些域之间存在着较大的分布差异,导致训练好的模型在跨域过程中存在明显的性能损失。模型跨域时的性能损失一般来源于两个方面,一是跨域前模型对域内能够进行泛化的样例边缘知识及特征知识利用不充分;二是跨域时模型对跨域的连接信息及目标域的关键样例信息挖掘不充分。本文针对目前文档布局分析任务中存在的域内知识挖掘不足以及域间知识泛化不足的问题展开了探讨,从样例边缘知识挖掘、样例特征知识挖掘、样例跨域连接信息挖掘、跨域关键样例信息挖掘四个方面进行深入研究,取得如下创新结果:(1)针对样例边缘知识挖掘不充分问题,提出了基于显式边缘嵌入网络的文档图像布局分析方法。目前很多基于深度学习的文档布局分析方法侧重于直接通过卷积神经网络从颜色通道中学习知识,然而图像中的高频结构(特别是图像边缘)蕴含着更多的信息,之前的DLA任务一直忽略了对这些知识的挖掘。为了解决样例边缘知识挖掘不充分的问题,本文提出了一种新的具有显式边缘嵌入网络的文档布局分析框架(E~3N et)。该框架的创新性在于:使用边缘嵌入块和动态跳接模块来产生更加详细的特征;同时,为了增强框架的实用性,使用轻量级的全卷积子网作为骨干网络;边缘嵌入块的设计是为了显式地合并从文档图像中获得的边缘信息;动态跳接模块的目的是获取具有可学习权值的颜色和边缘表示。本文在三个文档布局分析基准上使用提出的框架进行了实验,证明了E~3N et在有效性和效率方面优于以往工作。(2)针对样例特征知识挖掘不充分问题,提出了基于动态残差特征融合的文档布局分析方法。除了样例本身忽略的隐式知识之外,样例特征间也会存在信息的损失。为解决该问题,本文提出了一种名为动态残差融合网络(DRFN)的端到端联合网络,来挖掘样例特征蕴含的知识。该方法的创新性在于:设计了一个能够充分利用低维信息和维护高维类别信息的动态残差特征融合模块;为了解决由于数据不足而导致的模型过拟合问题,提出了对有限的训练数据进行高效微调的动态选择机制。本文在一些具有挑战性的数据集进行了实验,证明了DRFN的有效性。(3)针对样例跨域连接信息不平衡问题,提出了基于风格引导的无监督跨域文档布局分析方法。在有效利用样例本身知识的基础上,设计较强泛化能力的通用DLA框架的一个重要挑战是,如何有效挖掘域间的隐含信息,特别是在文档对象的布局、大小、长宽比、纹理等方面多样化的情况下。许多研究人员通过合成数据构建大型训练集来应对这一挑战。然而,合成的训练数据具有不同的风格并且质量不稳定。此外,源数据域与目标数据域之间也存在很大的差距。本文提出了一种基于文档风格指导的无监督跨域DLA框架。该框架的创新性在于:将文档质量评估和文档跨域分析集成到一个统一的框架中。本文的框架由三个组件组成:文档布局生成器(GLD)用于文档布局生成,文档元素装饰器(GED)用于文档布局元素填充,文档样式鉴别器(DSD)用于文档质量评估和跨域指导。本文首先使用GLD来预测生成的文档的位置;然后,设计了一种基于美学指导的新算法来填充文档的位置;最后,使用对比学习来评估文档的质量。此外,本文还设计了一种将文档质量评估组件转换为文档跨域风格引导组件的新策略。本文的框架是一个无监督的文档布局分析框架。通过多次实验证明,本文所提出的基于风格引导的无监督跨域文档布局分析方法取得了显著的性能。(4)针对跨域关键信息利用不充分问题,提出了基于外部知识引导的关键样本选择方法。对于一些特殊的样本,仅依靠基于风格引导的无监督跨域方法效果有限。为了进一步扩展DLA模型的通用性,本文引入了“人在环路(human-in-the-loop,HITL)”协作智能策略。因为HITL可以通过添加基于知识的少量数据来推动模型从未知问题中学习,这有利于提升模型的泛化能力。HITL通过使用置信度来选择关键样本,然而,使用置信度来找到关键样本并不适用于DLA任务,本文提出了关键样本选择(KSS)方法。该方法的创新性在于:通过模型协作来更准确地找到高级任务(语义分割)中的关键样本,有效地降低了成本。一旦样例被选择,这些关键样本被传递给人类进行标记,然后模型就会使用标记的样本更新参数。此外,本文从强化学习视角重新审视了学习系统,设计了基于关键样本选择的更新策略,有效地提高了模型接受新样本的能力。在一些具有挑战性的数据集进行了实验,证明了基于外部知识引导的关键样本选择方法的有效性。
其他文献
钙钛矿太阳能电池作为一种新兴的且富有潜力的太阳能光伏技术,受到了社会各界的广泛关注。经过近几年在材料设计、制备工艺、器件结构以及界面工程等方面的集中研究,钙钛矿太阳能电池得到了快速发展。目前,其认证效率已达到25.7%,在众多太阳能光伏技术中脱颖而出。尽管钙钛矿太阳能电池发展迅速,钙钛矿中不可避免的大量缺陷和器件中不理想的界面特性会造成大量复合损失,仍严重制约着器件效率向理论极限的迈进,并且对器件
学位
激光诱导原子、分子以及固体电离动力学是理解诸多基本物理和化学过程的重要科学基础。相关研究为材料的精密加工、化学反应的光学控制以及高速光电器件等应用的发展提供科学支撑。在超短强激光脉冲作用下,纳米结构表面产生时空急剧变化的极端近场分布,纳米颗粒表面附着的分子会率先发生电离、回撞、激发等过程,并在飞秒尺度上加速纳米体系内部的雪崩电离。因此,纳米颗粒表面吸附的分子对于纳米结构在强场中的电离动力学过程起到
学位
植物功能性状对竞争的响应能调整种内(intraspecific)和种间(interspecific)性状差异(trait variation),最终影响物种竞争乃至共存状态。如个体变异假说(individual variation hypothesis)推测,竞争能诱导种内性状差异变大,种间性状重叠度增加,由此竞争诱导的性状变化可能不利于物种共存。相反,生态位填充假说(niche packing
学位
高温流场诊断技术通过对热力学流场进行高性能指标的多参数实验测量,不仅可以帮助开展燃烧反应中化学动力学、热传递和流体动力学等领域的科学研究,还能够用详细的物理宏观表征来实现真实高温流场的保真模拟,最终推动电力能源、工业制造和推进系统等众多应用领域的发展。现今,非侵入式激光诊断技术是高温流场诊断的主要手段,其中吸收光谱激光诊断技术通过可调谐激光器或傅里叶变换光谱仪精密测量分子吸收谱线,可以实现气体组分
学位
海滩是海岸带地区抵御波浪、潮汐和风暴潮等剧烈水动力作用的第一道屏障海滩的稳定与否时刻影响沿海城市或社区居民的生命财产安全。然而,当前正在发生的全球变化与日益加剧的极端风暴事件,使得全球海滩正面临侵蚀后退风险,其滩面沉积变化过程引起众多学者研究。特别对发育于波控但又处于中到强潮环境的海滩,其独特的地貌和沉积特色而更受学者关注。基于此,本文以北部湾中强潮环境的北海银滩为研究对象,在2014年至2017
学位
近年来,面向机械-光-电等物质能量相互转换核心机理的压电电子学和压电光电子学已成为微电子学与固体电子学领域的研究热点,同时也是信息科学技术和能源科学技术等国家重大战略需求领域的重要发展方向之一。二维压电半导体,如过渡金属二硫族化合物(TMDCs)和IIIA族金属单硫族化合物,同时具备优异的机械柔性、半导体特性以及机电、光电转换能力,并且其平面结构能够与现有半导体制造技术高度兼容,因而被认为是实现新
学位
位于青藏高原东北缘、青海省境内的祁连山南坡地区,以往关于该区域的生态系统固碳功能影响因素主要考虑了气温、降水、土地利用和海拔等因素,鲜有提及诸如土壤孔隙参数、土壤的无机矿物、土壤电导率以及土壤微生物群落对土壤储碳等方面的内容。基于此,本文通过野外调查与室内研究相结合,通过大量文献搜集梳理、野外样方调查,获得了不同生态系统类型的地上部分、地下部分碳库密度值。在此基础上,根据2000~2020年祁连山
学位
位于海陆交错带的盐沼湿地生态系统是潮滩湿地最为宝贵的生态系统之一,它为人类社会提供了重要的生态系统服务,在维持海岸带生物多样性方面具有不可替代的作用。海三棱藨草(Scirpus mariqueter)是长江口盐沼湿地的先锋种和关键种。受人类围垦活动、外来物种互花米草(Spartina alterniflora)入侵、全球气候变化以及海平面上升的影响,海三棱藨草种群面积不断缩小,对盐沼湿地生态系统的
学位
教育问责兴盛于20世纪70年代的美国。随着学校办学质量日益为社会所关注,问责引入到教育领域,并成为基础教育治理的重要方式和实现基础教育质量良性发展的重要保障,而后教育问责在全球范围内蔓延开来。只有回溯其发展历程,才能更好地把握基础教育问责的发展路径及未来动向。因而本研究尝试跳出从某一截面或侧面对美国基础教育问责进行抽离性解读的固有思维,拟从20世纪70年代至今美国基础教育问责的发展历程入手,在关注
学位
我国新课程改革以来,在学生学业评价方面进行了大量的改革,表现在评价内容变得全面、评价方法变得多样、评价主体变得多元等,以此来促进学生的全面发展,落实素质教育。新的学生学业评价理念的转变,对教师提出了新的要求,课堂评价素养成为了教师专业标准中的核心内容之一。游离于学生学业评价之外的教师成为了学生学业评价的主体,成为了教育评价改革的核心推动者,其在日常课堂中的评价实践也成为了研究者关注的焦点。已有研究
学位