基于n-grams的特征约简及语义加权算法研究

来源 :辽宁工程技术大学 | 被引量 : 0次 | 上传用户:whoamiwh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本特征对于文本分类而言至关重要,它的优劣直接影响到分类模型的性能以及最终的测试结果。n-grams特征与其他特征形式相比具有众多优势,然而自身存在的几个缺陷限制了其在文本分类中的广泛应用:1)稀疏数据过多。2)特征冗余。3)高维度。为克服上述提到的三个特征缺陷,使n-grams能更好地应用于文本分类领域,本文提出一种基于n-grams语言模型的特征约简及语义加权算法。该算法首先对未经处理的n-grams特征集合进行降维处理,为对单个n-grams特征的处理减小开销;再去除每个n-grams特征中存在的冗余词,达到对n-grams约简的目的;最后利用语义对测试文本或训练文本进行加权,避免绝对匹配时产生过多0数据。在网易文本语料库中的实验结果表明,该算法能够从文本中准确筛选出高质量的n-grams特征,并避免了高维度、冗余词和稀疏数据过多的情况,在支持向量机(Support Vector Machine,SVM)中的分类性能相比为经算法处理的情况有很大提高。
其他文献
随着特色小镇建设与发展步伐的加快,其融合特色产业、美丽生态、生活社区等多功能的综合发展平台作用日益凸现,极大地促进了美丽乡村建设、乡村振兴发展和产城人文的融合发展,已经成为我国新型城镇化建设的重要抓手。安徽“三瓜公社”特色小镇虽然创建仅三年多的时间,但是发展速度很快,现已跻身中国特色小镇50强。成绩的取得离不开特色小镇建设项目相关各方科学的顶层设计引领,同时也与对新一轮土地改革政策的深刻理解和灵活
为检验航天器结构设计的合理性,通常采用地面环境试验来模拟卫星在实际飞行过程中的受力情况。传统的卫星振动试验采用加速度包络的方式进行控制,该方法由于没有考虑卫星/火
针对连云港某公共建筑空气源热泵室外机冬季结霜问题,提出采用湖水喷淋方式实现空气源热泵无霜运行。对室外机采取喷淋的判定条件进行分析,采用TRNSYS软件,建立空气源热泵流程,根
研究背景和目的:脊髓损伤(spinal cord injury,SCI)是由外伤、感染、缺血或相关病变累及引起的中枢神经系统疾病,致残率和致死率极高,给家庭和社会造成沉重负担。如何使受损
【正】作为世嘉(SEGA)出品的一款即时连线对战网络游戏,《三国征途》在游戏中引入了"策略"、"动作"、"卡片"等多种元素。可以说是款将《三国志》、《三国杀》和《三国无双》
本文论述了医用物理教学改革的必要性.改革的趋势和方向.提出了教学改革的一些设想及尚需改进的方面。
1997年11月17日至26日,我受省委、省政府委派,率分团同省农建办的同志一起赴吕梁地区、晋中地区、阳泉市、太原市检查农田水利基本建设情况,视察了4个地市8个县的21个重点工程。所到之处,场面壮
灰色理论研究的是“少数据不确定性”问题,经过短短20年的发展已成为一门完备的理论体系,其应用范围也不断拓宽,已先后在控制、农业、地质、电力、图像、经济等数十个领域得到广
Sally said I should try bungeejumping,but I I got cold feet。  畫线部分的意思是:  A冻脚  B临阵退缩  C冷酷无情  参考答案:B  萨莉劝我尝试一.下蹦极,但是我还是打退堂鼓了[cold feet]的意思是“临阵退缩;胆怯”
期刊