【摘 要】
:
随着深度学习的在图像领域和语音处理领域的广泛应用,卷积神经网络也已经成为大多数自然语言处理任务的主流方法。文本分类作为自然语言处理一个非常有代表性的研究领域,是很
论文部分内容阅读
随着深度学习的在图像领域和语音处理领域的广泛应用,卷积神经网络也已经成为大多数自然语言处理任务的主流方法。文本分类作为自然语言处理一个非常有代表性的研究领域,是很多上层应用的基础。然而,目前应用于这一场景的网络模型层数通常比较浅,相比于图像分类领域精心设计的深层网络而言,这些浅层网络无法捕捉到文本的层次化结构信息。此外,传统的文本表示以词袋表示为主,这种表示对单词之间的互信息缺乏准确的度量。词向量的提出一定程度上解决了这一问题,利用无监督学习得到单词的向量表示,引入了单词的共现信息。目前也有工作针对字符级别的文本表示提出自己方法,但这些模型对中文的预处理都非常粗糙,这个过程中损失了丰富的语义信息。探索了目前在文本分类领域的各种文本表达和各种深度学习网络之后,针对中文短文本这一领域提出了自己的自抑制残差网络模型,对于此前许多工作中中文文本预处理过程过于粗糙导致信息丢失的问题,该模型采用字跟词联合作为输入数据,充分利用了中文独特的汉字信息。同时,对于采用更深的网络结构来获取文本的层次化表达之后导致的网络模型训练的难题,创新性的采用自抑制残差卷积模块取代之前的通用卷积模块来提高网络的综合表现。最后,对自抑制残差模块进行了拟合优越性和训练优越性两个方面的分析,并进行了全面的对比实验。实验显示该网络模型能够在五个不同领域的的分类数据集中的三个上达到领先的效果,在Chat数据集上的准确率由86.92%提高至90.89%。虽然在两个较大的数据集上的效果比双向长短时记忆机略微逊色,但仅存在0.3%到0.5%的微小差异,然而在整个训练过程的时间开销上,双向长短时记忆机需要四倍于自抑制残差网络的时间才能到达有竞争力的结果,因此,在兼顾准确率和时间的情况下,自抑制残差网络仍然是最优选择。实验表明,自抑制残差网络的无论是在收敛速度还是在最终的精度方面远胜于包括传统卷积网络和残差网络在内的其他网络结构。整个网络训练过程没有引入任何额外的参数,避免了模型计算复杂度的升高。
其他文献
图像语义分割在自动驾驶、场景理解、医学等方面有着广泛的应用,但现有语义分割技术具有图像分割边缘粗糙、分割精度不高、标签过程繁琐等问题,分割模型的泛化能力较低,且只能针对特定环境。针对以上问题,本文提出了基于双层级合并上采样方法,深度对抗神经网络的反馈式弱监督语义分割方法和直推式迁移学习的语义分割方法,提高了分割精确度,简化标签过程,提升网络的泛化能力,本文的研究对语义分割技术的广泛应用具有实际意义
随着气体传感器技术的发展,搭载传感器阵列的电子鼻气体检测系统被广泛应用于生物医学领域。其中,气体检测系统的低功耗、微型化以及无线化是重要的研究方向。本文针对气体检
在经济全球化快速发展的同时,中国的社会经济也取得了显着的增长和进步。以家庭为单位来说,其属社会细胞的范畴之中,且越发活跃地参与到实际交易活动中,并且经常与外部环境产生较为普遍的债权及债务关系,尤其随着中国个体私营经济的快速发展,人们的消费意识逐渐发生变化。与此同时,分期付款与信用消费等方式的出现,使得夫妻举债行为的产生更成易事,数额也随之变大,致使夫妻之间共同债务这一问题日渐凸显。另外离婚案件也越
随着社会和计算机科学技术的发展,在日常生活和军事领域,微波成像技术越来越被频繁地使用。然而,传统的电磁成像方法的局限性日益突出,因此开展能够获得分辨率更高、性能更优
酚类物质是一类常见的化工原料,常被用于制药、化妆品、橡胶、油漆等行业。此类物质会对环境造成污染,威胁人类健康,因此有必要对其进行检测。传统的检测方法虽然能准确测定
人脸在视觉交流中发挥了重要作用,人们可以通过观察人脸自动提取许多非语言信息,如人类的身份、意图和情感。在计算机视觉的所有人脸分析任务中,为了自动提取这些面部信息,人脸关键点检测通常都是一个必须且关键的步骤。因此,对于人脸分析任务来说,一个简单有效的人脸关键点检测算法是必不可少的。为了解决当前基于卷积神经网络的人脸关键点检测算法过于复杂的问题,提出了一种有效的基于生成式对抗网络的深度学习框架。网络由
产业集群保持持续竞争优势、实现升级和发展归根到底取决于产业集群的创新能力。但随着近年来全球化竞争的不断加剧和技术进步的加速,越来越多的产业集群在发展中遇到了新的问题和挑战,在发展过程中遭遇了很多创新瓶颈,不能有效地保持产业集群的持续竞争优势。因此,如何增强产业集群的创新能力,保持产业集群长期的竞争优势,实现产业集群的持续发展,就成为目前研究的热点问题。创新能力的传递机制是本文的研究目标,只有创新能
高次谐波是原子(分子)与强激光场相互作用释放的宽频光辐射,它不仅能获得阿秒量级的极紫外光源和X射线源,还能合成超短阿秒,通过超短阿秒脉冲可以探测和操控原子(分子)内部结
在旋转机械中滚动轴承是至关重要的基础零部件,且在装备制造、能源石化、国防安全、航空航天等国民重要经济领域中有着广泛的应用。而当常处于高负载、变工况和持续运行等极