Word2vec训练优化的影响因素研究

来源 :苏州大学 | 被引量 : 4次 | 上传用户:outerwy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Google于2013年推出词向量处理工具word2vec,用于将自然语言这种符号信息转化成向量形式的数字信息,其独特地采用低维空间表示海量词汇的核心思想不仅解决了以往采用one-hot encoder引起的稀疏性和维度灾难问题,而且还能挖掘词之间的潜在联系,从而在词义的角度提高语言的理解准确度。Word2vec训练词向量,即把文本中的词语映射到一个新的空间中,并且以多维的连续实数向量进行表示。在使用word2vec训练词向量过程中,有诸多因素可以影响训练词向量的质量。本文以生成词向量的耗时以及嵌入词向量的文本分类模型的精准度作为两个评判优劣的标准,通过进行一次一因子实验和正交实验,研究了语料、模型、训练算法以及向量维度这四个因素对这两个优劣指标的影响情况,遴选出对word2vec训练词向量有显著影响的因素,尝试找出最佳因子水平组合,并做了验证实验,为优化word2vec所生成的词向量提供一定的参考。本文通过两个实验,发现如下现象:待处理文本应尽可能与参与词向量的训练文本相近,否则需要扩充训练语料的广度;当处理文本是包含大量罕见词的新闻时,Skip-gram模型和Hierarchical Softmax算法的组合表现较为出色。
其他文献
铺叙就是把事、情、景等被言说的内容铺展开来进行充分周到的叙说。词的铺叙很难从头到尾地叙事,因而侧重于铺叙心情意绪,而把与此相关的事件作为背景隐含在文本之外。词也能
高职教育园区的潜在经济效益主要有三个方面:高职教育园区的规模经济、范围经济和联结经济。高职教育园区的规模经济优势主要在于相同院校的互融,范围经济优势主要在于相异院
今年适逢莎士比亚逝世400周年,世界各地的舞台上莎翁作品云集。“2016国家大剧院舞蹈节”的舞台上,摩纳哥蒙特卡洛芭蕾舞团也选择了一部莎翁戏——《仲夏夜之梦》为舞蹈节拉开
报纸
目的检测宫颈癌患者外周血CD+4T细胞分泌细胞因子的水平变化,分析Th1和Th2细胞的细胞因子免疫活动,为肿瘤的免疫治疗提供实验依据。方法用刺激物刺激细胞,增加细胞内细胞因子
美国白蛾是世界性检疫害虫,自1979年传入我国辽宁省丹东地区之后,其危害面积呈逐年增加的趋势,对农作物、林木、果树等造成了严重的危害,已严重威胁到林业资源的长期可持续发展。为了有效地应对白蛾对生态环境造成的严重危害,本文进行了美国白蛾幼虫网幕喷药机器人的视觉伺服控制系统设计,本设计可以适应美国白蛾网幕分布不规则的特点,根据网幕深度信息,控制PWM实现了精准变量喷药,该系统可以有效提高农药利用率,减
<剑桥东南亚史>在学术视野、研究资料、研究方法和重大问题以及编写体例上都实现了突破,是东南亚历史研究的新飞跃,而<剑桥东南亚史>中译本的出版也具有极为重要的意义.
末端病是常见的运动损伤,多发于运动人群,早期多采取保守的康复措施应对。文章对末端病康复研究现状及各类康复手段方法的研究现状进行梳理。
目的:探讨针灸疗法治疗中风后偏瘫肩痛效果。方法:收治中风后偏瘫肩痛患者50例,采用针灸疗法治疗,观察治疗效果。结果:治疗总有效率96.00%。治疗后TC和TG均显著改善(P<0.05)
传统的A—U模型 ,揭示了在特定技术轨道上的技术创新与产业发展的内在关系 ,是一种短期的产业创新动态过程模型 ;改进的A—U模型是从产业演变的全过程来考察技术创新与产业发