【摘 要】
：
目前多数文本分类方法无法有效反映句子中不同单词的重要程度,且在神经网络训练过程中获得的词向量忽略了汉字本身的结构信息.构建一种GRU-ATT-Capsule混合模型,并结合CW2Vec模型训练中文词向量.对文本数据进行预处理,使用传统的词向量方法训练的词向量作为模型的第1种输入,通过CW2Vec模型训练得到的包含汉字笔画特征的中文词向量作为第2种输入,完成文本表示.利用门控循环单元分别提取2种不同输入的上下文特征并结合注意力机制学习文本中单词的重要性,将2种不同输入提取出的上下文特征进行融合,通过胶囊网络
【机 构】
：
上海电力大学 计算机科学与技术学院,上海 200090
论文部分内容阅读
目前多数文本分类方法无法有效反映句子中不同单词的重要程度,且在神经网络训练过程中获得的词向量忽略了汉字本身的结构信息.构建一种GRU-ATT-Capsule混合模型,并结合CW2Vec模型训练中文词向量.对文本数据进行预处理,使用传统的词向量方法训练的词向量作为模型的第1种输入,通过CW2Vec模型训练得到的包含汉字笔画特征的中文词向量作为第2种输入,完成文本表示.利用门控循环单元分别提取2种不同输入的上下文特征并结合注意力机制学习文本中单词的重要性,将2种不同输入提取出的上下文特征进行融合,通过胶囊网络学习文本局部与全局之间的关系特征实现文本分类.在搜狗新闻数据集上的实验结果表明,GRU-ATT-Capsule混合模型相比TextCNN、BiGRU-ATT模型在测试集分类准确率上分别提高2.35和4.70个百分点,融合笔画特征的双通道输入混合模型相比单通道输入混合模型在测试集分类准确率上提高0.45个百分点,证明了GRU-ATT-Capsule混合模型能有效提取包括汉字结构在内的更多文本特征,提升文本分类效果.
其他文献
针对于场景识别问题,提出一种基于开源的室外场景数据集以及自定义采集的数据集在deepLabV3+深度学习模型上进行实验,并运用一种改进的K-近邻算法对DeepLabV3+深度学习模型进行优化.与现有的测试数据集的方法不同,省去了对数据集进行标签的工作,减少了大量的前期准备工作,提高了模型的计算效率以及分类模型的准确率和召回率.结果表明,使用K-近邻算法改进后的Deeplabv3+模型识别精度达到相0.75,较于直接使用Deeplabv3+模型进行语义分割的准确率0.65提高了0.1,并且得到了效果明显,在
针对风速序列不平稳难以预测的问题,提出了一种混沌麻雀搜索算法(CSSA)优化最小二乘支持向量机(LSSVM)参数的短期风速预测混合模型.模型结合样本熵(SE)和具有自适应噪声改进的互补集成经验模态分解(ICEEMDAN)、变分模态分解(VMD)两阶段分解的数据预处理方法.首先,利用ICEEMDAN分解原始风速序列,且依据SE评估子序列的复杂程度,重构熵值近似的序列,VMD二次分解熵值最大的序列.然后对所有子序列分别建立LSSVM预测模型,同时CSSA对该模型参数优化以提高预测效率.最后将预测的各子序列叠加
建筑空间结构对几何缺陷较为敏感,如果存在偏差容易造成结构承载力性能下降,可提出一种基于网格多密度的建筑空间尺寸偏差辨识方法.分析建筑空间辨识原理以组建建筑数据空间,并将数据空间进行一维分化处理,得到空间网格单元,依靠单元中数据点描述网格密度,利用单元内相邻边界与相邻点构建邻接单元.计算建筑空间中心坐标与核网格得到建筑空间的基类,凭借刚体运动学理论获得目标坐标向量数积,将该数据以矩阵的形式计算,得到建筑空间内某一轴转动与沿着某一轴移动的尺寸.最后通过莱茵达准则的基础理念,拟定不同的建筑空间坐标测量点,得到坐
为了准确预测城乡空间过渡带不同时期的时空演变趋势,设计基于移动窗口的城乡空间过渡带演变预测方法.运用GPS与电子罗盘采集目标区域边界点与校验点位置,利用前方交会原则验证边界点位置正确性,根据三角函数定理,在了解两个点坐标与方位角的基础上得到过渡带区域坐标值;选择斑块、景观优越度、土被适宜度等指标作为演变指标,引入Frag-stats3.4软件平台下的移动窗口,获得城乡空间过渡带变化特征;组建元胞自动机复合模型,通过邻近层次的两两对比建立评估矩阵,计算评估矩阵权重矢量,推导评估目标综合分数,将分数从高到低排
闪存因具有速度快、体积小等优点而广泛应用于数据存储领域,为提高NAND闪存的垃圾回收效率、延长闪存使用寿命,提出一种基于数据更新间隔的垃圾回收算法UIGC.计算闪存中空闲页的分散度,将其作为垃圾回收触发条件.从垃圾回收效率和磨损均衡效果2个方面出发,综合考虑块中无效页年龄累计和以及块中有效页比例,使用动态回收块选择和静态回收块选择相结合的策略来选择目标回收块,根据回收块中有效页数据更新间隔判断有效页热度,同时提出数据更新稳定性的概念来划分有效页的数据更新状态,将具有不同热度和更新状态的有效页数据分别存储在
随机森林在bootstrap的基础上通过对特征进行抽样构建决策树,以牺牲决策树准确性的方式来降低决策树间的相关性,从而提高预测的准确性.但在数据规模较大时,决策树间的相关性仍然较高,导致随机森林的性能表现不佳.为解决该问题,提出一种基于袋外预测的改进算法,通过提高决策树的准确性来提升随机森林的预测性能.将随机森林的袋外预测与原特征相结合并重新训练随机森林,以有效降低决策树的VC-dimension、经验风险、泛化风险并提高其准确性,最终提升随机森林的预测性能.然而,决策树准确性的提高会使决策树间的预测趋于
针对建筑物混凝土腐蚀检测中传感器单一且常规卡尔曼滤波算法容易出现滤波精度降低的问题,提出了一种多传感器综合检测方法.采用改进的自适应卡尔曼滤波算法,利用最大概似估计准则,将新息方差直接引入卡尔曼滤波器的增益计算,实现估计模型的动态调整,降低了系统噪声和测量噪声的干扰.最后,对自适应卡尔曼滤波和常规卡尔曼滤波算法进行了仿真对比实验,结果表明,自适应卡尔曼滤波算法有效提高了多传感器信号检测的精度和稳定性,性能优于常规卡尔曼滤波算法.
针对过程数据的多模态和非线性的特征,提出了改进的局部近邻标准化和PPA结合的过程故障检测方法.首先寻找每个样本的第一近邻样本,再寻找第一近邻样本的局部前k近邻集,用近邻集的均值和标准差进行数据标准化,最后使用主多项式分析(PPA)对标准化处理后的数据建模,计算T2和SPE统计量,并确定控制限进行故障检测.主多项式分析使用一组灵活的主多项式分量来描述数据能够有效地捕捉过程数据中潜在的非线性结构,ILNS方法能够将多模态数据融合为单模态数据,消除过程数据的多模态特征使PPA算法的建模更加精确.最后通过多模态非
为了改善在远程共享时,易出现的实时性差以及数据信息安全性能低问题,提出一种基于粒子群优化的数据库信息远程共享方案.根据网络实时环境及数据库信息特征整理,构建整体远程共享构架,使用粒子群优化法计算数据库信息中目标函数,将待实现优化的数据库作为粒子,实施初始化参数操作,并采取分组形式实现粒子运动位置的实时更新,再将最优粒子替换较差粒子,直到全部信息符合共享条件,最优信息经过数字转换机制实现格式转换,输入到具有兴趣约束的远程共享平台中,完成信息的远程共享.仿真结果证明,所提方法可实施性强且共享整体效率较高,有效
针对传统方法数据修复率较低,修复耗时较长,修复准确性较低的问题,为提高通信网络链路非平稳数据修复效果,设计了一种通信网络链路非平稳数据自动修复方法.采集通信网络链路传输数据,并构建非平稳数据噪声模型,对采集的数据进行去除噪声处理.根据噪声处理结果采用遗传算法对非平稳数据进行检测,并采用决策树方法对非平稳数据进行自动修复.实验结果表明,所设计方法的数据修复准确性较高,非平稳数据自动修复率较高,并且修复耗时少,证明了所研究的修复方法提高了非平稳数据的修复效果,具备实际应用意义.