融合BERT与标签语义注意力的文本多标签分类方法

来源 :计算机应用 | 被引量 : 0次 | 上传用户:fgq8022
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本多标签分类是自然语言处理领域的重要子任务之一。针对多个标签之间存在复杂关联性问题,本文提出了一种融合BERT与标签语义注意力的文本多标签分类方法。首先通过对自编码预训练模型(BERT)进行微调,学习输入文本的上下文向量表示;然后使用长短期记忆(LSTM)神经网络将标签进行单独编码,最后利用注意力机制显性突出文本对每个标签的贡献,以预测多标签序列。实验结果表明,与基于生成式多标签分类算法(SGM)相比,本文提出的方法在AAPD与RCV1-V2公开数据集上,F值分别提高了2.8个百分点与1.5个百分点。
其他文献
本研究对宁夏荒漠区5个典型的柠条群落根际土壤样品进行了16S rRNA基因和宏基因组高通量测序,分析了干旱荒漠生境下柠条根际细菌的群落结构、氮循环基因多样性及其与环境因子的相关性。结果表明,柠条根际细菌分布于39个门,以放线菌门(22.69%~33.86%)和变形菌门(21.24%~31.79%)为主要优势菌门,其次是绿弯菌门(10.25%~16.39%)、酸杆菌门(11.09%~14.90%)、
期刊
本文针对复杂空间背景下暗弱目标难以识别的问题,提出了一种基于匹配滤波的暗弱目标快速识别算法.首先建立了恒星跟踪模式下条纹状空间目标的成像模型,并利用信噪比来界定空间目标的暗弱程度.进而设计了一种条纹单元模板,该模板避免了生成大量不同长度的条纹模板,从而降低了图像空间滤波过程中的计算量.最后通过仿真实验验证了该算法的有效性,能够实现信噪比为0.5的暗弱目标的快速识别.
期刊
新型冠状病毒肺炎(coronavirus disease 2019, COVID-19)正在全球大流行,疫苗研发工作也在积极推进.截至2021年3月2日,全球正在研制的新型冠状病毒疫苗共有258种,疫苗种类囊括灭活疫苗、减毒活疫苗、亚单位疫苗、病毒载体疫苗、DNA疫苗、RNA疫苗和病毒样颗粒,有76种疫苗已进入临床试验阶段.疫苗的安全性和有效性是两个最重要的指标,临床试验结束后将获取疫苗的这些关键
期刊
掌握拥堵传播条件下的轨道交通车站承载人数变化规律,是提高城市轨道交通系统安全保障能力的基础。从人、站、车多子系统角度出发,结合客流、站台及列车多属性特征,建立基于系统动力学的城市轨道交通车站承载人数计算模型。设计多组别灵敏度仿真分析实验,从多角度分析站台承载人数影响因素。结果表明,拥堵传播与正常条件下车站承载人数变化情况具有较大差别,列车发车间隔、乘客进站速率和去向比例对车站人数变化情况影响较大,
期刊
针对传统开发者推荐方法侧重于分析开发者的专业能力以及与任务的交互信息,而未考虑开发者间协作性的问题,提出一种基于E-CARGO模型的开发者推荐方法。首先结合协作开发的特点,将其描述为基于角色的协作系统,并使用E-CARGO模型对其进行建模;然后使用模糊层次分析法(FAHP),建立模糊判断矩阵,求得开发者能力指标权重并进行加权求和,进而得到开发者历史综合能力评价集合;最后针对开发者综合能力评价的不确
期刊
时间主成分分析(Temporal Principal Component Analysis,TPCA)可用于地学领域中提取时空数据的时序特征和空间分布特征,北京平原区的地面沉降具有典型的时序和空间特征。本文在利用PS-InSAR技术获取的北京平原区2003年—2010年地面沉降数据的基础上,采用TPCA方法,分析了北京平原区地面沉降时空演化特征。经分析发现:(1)TPCA分析得到的第一主成分反应了
期刊
基于我国空间科学战略发展需求,针对我国空间科学先导专项当前在役与未来即将开展的众多卫星任务,对卫星地面段的数据处理框架及关键技术进行研究,提出了一种通用的具有任务级与资源级双层调度引擎的空间科学卫星数据处理技术框架(SDPF),设计实现了自动、高效、实时、标准化的空间科学卫星数据处理系统,使得多卫星任务、多载荷数据源的大规模数据的高度复杂的处理过程得以快速并行完成,在数据处理能力、计算资源规划、应
期刊
预训练语言模型的发展极大推动了机器阅读理解任务的进步。为了充分利用预训练语言模型中的浅层特征,并进一步提升问答模型预测答案的准确性,提出了一种基于BERT的三阶段式问答模型。首先,基于BERT设计了预回答、再回答及答案调整三个阶段;然后,在预回答阶段将BERT嵌入层输入视作浅层特征进行答案预生成;接着,在再回答阶段使用经BERT充分编码后的深层特征进行答案再生成;最后,在答案调整阶段结合前两个答案
期刊
气象预报产品以地图为载体,呈现出各类气象要素的分布及强弱程度。而地图体现着一个国家的主权和国际社会中的政治、外交立场。因此,在气象行业中标准化地图制作的需求已经越来越迫切。本文以标准中国地图为例,针对气象常用软件特点,研究这些软件下标准地图的制作和实现,确保了气象软件绘制地图的准确性、规范性。解决了多年来“问题底图”的困扰,有效提高了气象业务系统地理底图的标准化水平。
期刊
【目的】探究3种壳类生物质炭对南方红壤理化性能的动态影响,以期为南方红壤改良提供理论基础。【方法】利用慢速热解法制备3种壳类生物质炭并对其进行表征,通过室内盆栽试验,研究添加3种壳类生物质炭对土壤有机质含量、容重、pH以及速效钾的动态影响。【结果】不同种类壳类生物质炭对土壤理化性能的动态影响的研究结果表明:1~90 d处理期内,松子壳炭、稻壳炭和油茶壳炭的施加均显著提高了土壤有机质含量和速效钾含量
期刊