【摘 要】
：
针对现有文本分类算法处理中文数据时存在的分类精度低、参数量庞大、模型难训练等问题，对BERT算法进行了优化.BERT算法处理中文文本时无法提取词向量特征，为此提出了均匀词向量卷积模块AWC.通过在传统卷积神经网络中引入注意力机制来提取可靠词向量特征，再进一步获取到文本的局部特征，由此弥补了BERT模型无法提取词向量的缺点.BERT模型本身具有的自注意力网络可提取到文本的全局特征来突出全文的重点含义
【机 构】
：
西南交通大学信息科学与技术学院智能感知智慧运维实验室
【基金项目】
：
四川省科技计划项目（2020SYSY0016）；
论文部分内容阅读
针对现有文本分类算法处理中文数据时存在的分类精度低、参数量庞大、模型难训练等问题，对BERT算法进行了优化.BERT算法处理中文文本时无法提取词向量特征，为此提出了均匀词向量卷积模块AWC.通过在传统卷积神经网络中引入注意力机制来提取可靠词向量特征，再进一步获取到文本的局部特征，由此弥补了BERT模型无法提取词向量的缺点.BERT模型本身具有的自注意力网络可提取到文本的全局特征来突出全文的重点含义，与此同时在BERT算法中又引入了局部特征，通过将描述文本的局部特征以及全局特征按照重要程度进行融合，最终生成了更加丰富的文本信息.将融合后的特征输入softmax层得到模型的分类结果.平衡多头设计、层级参数共享机制、全连接层优化等方法的运用在保证算法准确度的前提下大大降低了模型参数量，最终形成了一种基于混合注意力机制的BERT-AWC轻量化文本分类算法.在多个公开数据集上的实验结果表明，相较于基准算法BERT,该算法在多个公开数据集上的预测精度均有1～5%的提升，而模型参数量仅为BERT的3.6%,达到了设计预期.
其他文献
引言改革开放40余年来，我国经济快速增长，城镇化水平快速提升，城镇空间迅速扩张，城际联系越发紧密。当前，我国逐步从城镇化率快速提升阶段转向质量结构优化的城镇化中后期阶段，区域城镇体系不断完善，中心城市、全球城市等特大城市不断涌现，巨型城市区域、都市圈、城市群（带）等网络化和全域化的高度城镇化区域持续涌现。特别是东部沿海发达地区，产业、人口、资本、技术等发展要素持续汇聚，区域多样化快速交通网络贯通，
为满足在软土地区修建公路的需求，产生了多种软土路基加固处理技术。该研究总结了常用的软土路基加固处理技术，并从适用土体、最大处理深度、工期、成本等方面对不同加固处理技术进行了对比分析。分析表明，水泥搅拌桩法、碎石桩法、土工合成材料法和袋装砂井排水法适用范围广，且工艺上也较容易实现；从效率和成本方面考虑，强夯法和置换法是不错的选择。
企业银行账户风险分类分级是2019年取消企业账户行政许可后，监管部门对商业银行提出的新要求。但从目前的实践来看，商业银行账户风险分类分级管理存在诸多问题，银行未能处理好风险防控和优化服务的关系，导致优化企业服务效果不佳。本文从实施分类分级管理的现状出发，分析商业银行现阶段存在的问题，探讨风险分类分级的标准和实现路径，以期为商业银行有效开展企业银行账户风险分类分级管理工作提供参考。
经济的高质量发展，为企业创造了良好的发展环境，但近些年上市公司问题频出，财务造假、高管侵害公司利益等事件时有发生。这些现象对公司的治理结构和内部控制提出了更高的要求，内部控制作为公司治理的重要内容，应当起到在公司经营过程中应有的监督控制作用，本文从公司治理的角度对上市公司内部控制进行了探讨，并提出了一些建议。
思政教育是高校育人体系中的重要环节,在时代发展的背景之下,做好高校思政教育工作对于保障我国政治、社会、经济的稳定、和谐发展意义重大。笔者尝试从党建与高校思政工作有效关联的角度,分析了党建工作与高校思想政治工作之间的联系,探讨了党建引领下高校思政工作体系的创新研究。希望本文的论述,能够为高校思政工作者提供有益参考,从而促进我国高校思政教育工作的持续进步。
甘肃青鹃山文化旅游发展有限公司依托孙集村自然生态环境，发挥旅游产业多功能化作用，利用休闲农业促进特色农业、旅游产业发展，进一步拓展“体育+”的经济、社会、政治和文化功能，提升农业在乡村旅游开发中的价值链，助力脱贫攻坚和乡村振兴战略，促进企业增效、农民增收。本文就该做法进行探析，以提供借鉴意义。
目的:观察二甲双胍联合低热量饮食及减少静坐时间治疗代谢综合征（MS）的效果。方法:抽取2015年1月至2017年12月期间于广东省干部保健中心治疗的MS患者80例,参考奇数偶数法分为两组处理。其中,给予对照组患者二甲双胍治疗,观察组患者在此基础上联合低热量饮食及减少静坐时间,分别就两组患者治疗前后体质量指数（BMI）、血压、血脂以及血糖情况进行比较。结果:两组患者在接受不同治疗后,观察组患者在BM
习近平在2021年中央民族工作会议上发表重要讲话，以实现中华民族伟大复兴的战略高度，全面系统阐述中国共产党在新时代关于加强和改进民族工作的重要思想，明确提出以铸牢中华民族共同体意识为主线，全面推动新时代民族工作高质量发展。这是中国共产党推进马克思主义民族理论中国化取得的又一重大成果，是把握新时代党的民族工作主线的新高度和做好新时代党的民族工作的根本遵循。
思政教育作为党组织光荣传统的重要工作内容,一直受到党中央的高度重视。为了提高思政教育实效,党中央基于立德树人根本任务,提出将高校党支部政治领导和组织引领贯彻思政教育全过程,通过贯彻落实党内思想建设、加强学生党员思想修养,充分发挥党员模范带头作用,增强思政教育在学生群体中的影响力。对此,高校要按照党中央指示,以党建工作为中心引领组织思政教育工作,把握二者的一致性和契合点,创新工作机制、变革教育模式,