【摘 要】
：
为了提高大规模文本去重算法Simhash对重复数据的检测精度，针对词袋（Bag of Words, BoW）模型无法体现特征词位置分布信息的缺点，提出一种改进的Simhash算法（P-Simhash）。该算法首先改进了Simhash计算特征词权重的方法，在由TF-IDF算法计算得到特征词的权重的基础上，引入Jaccard相似度量对共现词的权重进行优化，以降低共现词权重过高对检测文本差异的影响。其次
【基金项目】
：
国家自然科学基金（61402518）； 江苏省自然科学基金（BK20191327）；
论文部分内容阅读
为了提高大规模文本去重算法Simhash对重复数据的检测精度，针对词袋（Bag of Words, BoW）模型无法体现特征词位置分布信息的缺点，提出一种改进的Simhash算法（P-Simhash）。该算法首先改进了Simhash计算特征词权重的方法，在由TF-IDF算法计算得到特征词的权重的基础上，引入Jaccard相似度量对共现词的权重进行优化，以降低共现词权重过高对检测文本差异的影响。其次采用BDR算法降维思想，设计了体现特征词位置差异的签名方案，将特征词在文本中出现的位置特征转化为一组由二进制向量表示的签名。最后，将特征词哈希签名与位置特征签名加权求和的结果作为其对应的特征向量，与经过优化后的特征词权重进行二次加权，合并降维后得到新的文本签名。使用开放的搜狗新闻数据集进行实验，并与其他算法进行了性能比较。实验结果表明，P-Simhash算法在去重效果和执行效率上较传统的Simhash算法有明显提高。
其他文献
＜正＞方言是文化的有机组成部分，也是文化传承发展的重要载体，承载着各地民众独特的认识世界的方式，蕴含着厚重瑰奇的文化积淀，而着力理清方言与文化之间的联系，深入剖析方言在社会发展中的演变，积极寻求文化传承背景下方言发展的新起点与新思路，对于方言生命力的释放及其在当代社会中的多样性发展具有重要意义。由历史地理和文化语言学家周振鹤与复旦大学中文系语言学家游汝杰合作《方言与中国文化》一书，则从汉语方言的形
内部控制作为企业运行的基石,已经全方位的渗透到企业的经营活动中,系统完善的内部控制制度,可以使企业业务流程更加的科学可靠并且规范,但还需要得到严格的执行,才能提高企业经营活动的效率,帮助企业健康发展。医药行业作为与民生息息相关的重要产业,是国民经济中不可或缺的一环,担负着民族生命健康的重任。本文从企业经营业务循环的视角,对HN制药公司内部控制活动进行评价研究。通过问卷的形式获得控制活动评价的相关数
伴随着经济的持续增长,许多企业基于自身发展需求,对于应用型复合人才的需求也呈现出迫切并大有愈演愈烈的趋势。高素质人才的数量,已经影响到了国家经济社会的发展,各公司企业掌握高素质人才的数量,也是影响企业发展快慢的关键性因素之一。如何培养经济社会迫切需要的高素质人才,如何在时代发展的浪潮中为经济社会的发展贡献自己力量,已经成为了各个地方民办应用型高等院校的所需要面对的问题。目前,许多民办应用型院校的课
电网是现代能源体系构建的核心平台和支撑国民经济、社会发展的重要基石,随着国企改革、电力体制改革深入推进,电网企业在保障国有资本保值增值的同时,需要严格控制用工零增长,同时Y电网规模增长扩大,电网结构日趋复杂,研究如何减员增效,提高电网运行管理效率,同时保证系统安全、可靠运行将是Y电网公司面临的严峻挑战。电网运行管理作为电网企业的核心领域业务,现阶段还面临着效率不高、人力资源配置不合理等问题,需要深
普惠金融,是指为有金融服务需求的社会各阶层和群体提供适当、有效的金融服务,尤其是小微企业、“三农”、“双创”和扶贫等领域。近几年,普惠金融已经上升到国家战略,国家颁布了支持商业银行普惠金融业务发展的诸多有利政策,而众多商业银行也响应国家号召,纷纷成立普惠金融事业部,投身到普惠金融业务的宽广市场中。成为普惠金融业务发展的中坚力量。本文研究的J银行作为中国历史最悠久的国有股份制银行,其资产规模庞大,业
目的:本研究拟通观察过穴位埋线结合放血疗法治疗瘀阻脑络型偏头痛（migraine）的疗效及血清中血清素（Serotonin,5-HT/5-羟色胺）、β内啡肽（beta-Endorphin,β-EP）、一氧化氮（Nitric Oxide,NO）变化,观察该综合疗法在治疗头痛、改善患者生活质量、改善中医症状等方面的疗效,探讨其可能疗效机制,为穴位埋线结合放血治疗偏头痛提供临床依据。方法:选取60位来自
目的:通过比较壮医经筋疗法和中医综合疗法治疗臀中肌综合征的临床疗效,结合“筋结致痛”、“不荣而痛”观点,从筋论治本病,探讨壮医经筋手法及壮医火针治疗臀中肌综合征的优势。方法:将符合纳入标准的80例臀中肌综合征患者,随机分为对照组（中医综合疗法组）和治疗组（壮医经筋疗法组）各40例。对照组采用中医针刺+推拿+拔火罐综合治疗,取穴:主穴:肾俞、大肠俞、命门、秩边、环跳、阿是穴。配穴:承扶、殷门、委中、
目的:通过观察子母补泻针刺法结合壮医药线点灸治疗肝郁气滞型乳腺增生症的临床疗效以及治疗前后经络能量值的差异,为临床治疗乳腺增生症提供新思路。方法:将符合纳入标准的60例肝郁气滞型乳腺增生症患者随机分成治疗组和对照组,各30例,治疗组采用子母补泻针刺法+壮医药线点灸治疗,对照组采用口服逍遥丸的方式,连续治疗3个疗程,比较两组患者治疗前后中医经络能量值、乳房VAS评分、肿块大小评分、肿块质地评分、肿块
目的:通过刺络拔罐大杼穴结合电针的方法,观察该疗法对膝骨性关节炎（knee osteoarthritis,KOA）的疗效及血清白细胞介素-1β（IL-1β）含量的影响,探讨膝骨性关节炎的发病机理,为针灸治疗本病提供一定的临床依据。方法:收集符合标准的瘀血阻滞型KOA患者病例共60例,按照随机数字表法分为治疗组30例、对照组30例,治疗组采用刺络拔罐结合电针治疗,对照组采用西药塞来昔布胶囊治疗。两组
基于图结构的文本表示方法在新闻文本去重中具有更好的效果.但是，目前该表示方法还不能完整地表示文本的全部信息，并且忽略了图的语义信息，降低了新闻文本的去重效果.为此，本研究提出基于事件异构图表示的文本去重算法，该算法首先通过事件异构图表示新闻文本的全局语义与结构信息，然后提出双标签图核算法表征事件异构图，实现深度表征图的结构及语义信息.实验结果表明，该研究提出的去重算法比现有的基于图结构的文本表示去