【摘 要】
：
中文文本去重是自然语言处理研究的一个重要方向。该文提出了一种基于N-Gram项和特征映射的文本去重方法。该方法提取N-Gram项的序列作为文本特征,将N-Gram项映射成哈希值,通
论文部分内容阅读
中文文本去重是自然语言处理研究的一个重要方向。该文提出了一种基于N-Gram项和特征映射的文本去重方法。该方法提取N-Gram项的序列作为文本特征,将N-Gram项映射成哈希值,通过查找哈希值来判定文本是否重复。利用哈希数值查找代替字符串匹配,为实现快速的去重方法提供了一种新的可行的方法。实验表明,该算法对于普通网页文本去重能取得很好的效果。
其他文献
现阶段,我国航空物流货运市场占物流运输市场的总比例越来越高,再加上市场竞争的日益激烈,让物流市场营销成为了稳定市场的重要因素。本文根据以往工作经验,对航空货运商业模
正演模型将地震模型与地质模型建立起有机的联系,使地震反射特征既具有地球物理意义,又具有明确的地质含义,有效地减少地震解释的多解性.正演模拟技术在地质模型的模拟参数设
语境是语篇特征的重要内容,它是英语教学中不可忽视的重要部分,尤其在阅读教学中,语境理论具有重要的指导意义和研究价值。
Context is an important part of discourse fea
为满足消防灭火系统安全运行、便于维护,对常规岛厂房内消防系统设计中存在的问题提出了几点改进建议。根据消防系统运行维护手册结合现行消防系统设计规范和运行人员反馈,对
随着市场竞争的加剧,许多企业更加注重培育核心竞争力和发展核心业务,将不擅长的逆向物流业务外包给第三方供应商,但这也存在诸多风险。通过对逆向物流外包业务过程中的风险
日前，有用户在易采通APP有问有答栏目提问，服务项目必须要求在本地有办事处或者分支机构吗？$$回答有两种声音，一种是不能要求潜在供应商在本地有服务机构，属于歧视差别待遇；另一种
近年来北朝考古有三个重要发现，分别是云冈石窟窟顶一区北魏佛教寺院遗址、云冈石窟窟顶二区北魏辽金佛教寺院遗址和山西忻州九原岗北朝壁画墓。$$云冈石窟窟顶一区北魏佛教寺
一般人可能饿的时候,肚子才会咕咕叫,吃饱后这种声音就消失了。但是我就接诊过一些患者,他的肚子总是叫,吃饱肚子也在叫,特别是在人多又安静的办公室,突如其来的声音让他感到
风能作为无污染可再生能源有着巨大的发展潜力。为较准确地掌握瓦房店地区的风能资源分布情况，利用1971--2007年瓦房店地区及周边共9个测风点的测风资料对风能资源评估参数进
偷儿、乞丐问题成了当下城里人关注的一个热点。春节期间我不想掺和过于沉重的话题,闲翻《稼轩词编年笺注》,却读到了辛弃疾叙及偷儿的—首词。题为《清平乐检校山园,书所见