一种高效的分布式相似短文本聚类算法

来源 :计算机与数字工程 | 被引量 : 7次 | 上传用户:dannychan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近似重复在微博等网络短文本中十分常见,查找和消除近似重复对于网络信息的有效处理具有非常重要的意义。论文针对相似短文本聚类的特点,在改进shingling、最小哈希和局部敏感哈希算法相结合的文件相似检测方法的基础上,设计了一个高效的短文本聚类方法。该方法通过将文本表示成连续短字符串集合,并应用最小哈希将集合简化成一组由数字组成的文本签名,通过局部敏感哈希算法得到符合相似度条件的文本聚类。为了适应网络信息规模大的特点,论文进一步利用Apache Spark集群计算框架对聚类算法进行了并行化,提高了数据处
其他文献
冠状动脉粥样硬化性心脏病,指冠状动脉粥样硬化使血管腔狭窄或阻塞,和(或)因冠状动脉功能性改变(痉挛)导致心肌缺血缺氧或坏死而引起的心脏病,统称冠状动脉性心脏病,简称冠心
1999年和2000年的11~12月期间共记录了黑龙江东北虎林园16对东北虎的1 693次交配事件 ,对其中1 192次成功的交配事件进行了分析,建立了东北虎的交配行为谱,记录了16种个体行为
【摘要】随着科学技术的迅猛发展,以现代教育技术为特征的数学实验正在日益受到中学数学教师的关注。开展数学实验教学是传统高中数学教学改革的一项重要举措,对于学生学习方式的转变和教师教学方式的转变都有重要的作用。随着新课程改革的不断深入,数学实验教学必将成为高中数学教学的一种重要模式。本文分析了影响数学实验教学开展的因素,并提出了高中数学实验教学的建议及开展数学实验教学中应该注意的问题。  【关键词】高
【摘要】初中时期是青少年世界观、人生观形成的重要时期,因此初中生的德育教育具有重要的意义。初中语文强调“文道统一”,而且涉及到教育的各个领域,因此在语文教学中渗透德育教育,对于初中生的道德意识、道德观念的形成具有重要的意义。本文以语文教学中的德育教育为研究重点,结合当前的德育教育的现状,阐述语文教学工作中德育教育的方法。  【关键词】初中 语文教学 德育  初中时代对于学生的道德观、世界观的形成具
论文提出了一种异步FIFO(First Input First Output)特殊功能测试方法,该方法通过功能测试与交流参数测试相结合的方式完成了对Read Data Flow Through和Write Data Flow Thr
目的 评价光棒联合直接喉镜在急诊抢救紧急气管插管中的应用价值。方法 将60例急诊抢救患者随机分为3组,每组20例,分别应用光棒联合直接喉镜(联合组)、直接喉镜(喉镜组)和光棒(光
【摘要】爱因斯坦有句名言:“兴趣是最好的老师。”兴趣是一种积极的学习情感兴趣是学生自觉参与学习活动的原动力,有了学习兴趣,就有了学习动力,同时也是提高教学效率最有效地手段。那么如何在新课程背景下行之有效地提高学生的学习兴趣呢?笔者结合自己多年的教学实践,总结了一些经验,分析了初中思想品德学习兴趣的培养策略以期与大家交流讨论,共同提高。  【关键词】思想品德;学习兴趣;策略  引言  学习兴趣是学生
【摘要】教学就是指数学思维活动的教学,数学教学实质上就是学生在教师指导下,通过数学思维活动,学习数学家思维活动的成果,并发展数学思维,使学生的数学思维结构向数学家的思维结构转化的过程。教师进行有效提问,使学生能够在意义建构的过程中模仿和创新,使其思维品质得到提高。  【关键词】初中 数学教学 有效提问  目前课堂教学中,提问的有效性差。教师随心所欲地提问,欠思考力或太过玄奥,数学课堂教学中存在低效
乡镇企业是在计划经济和有计划的商品经济环境中,面向市场,自筹资金,在计划经济的空隙中产生和发展的。它靠灵活的机制,拾遗补缺,艰苦创业,为我国告别短缺经济,国民经济快速
课程综合化已成为当今课程改革的必然趋势,高中地理教学应融入语文、历史、理化等学科知识。因为高中地理是中学学科教学体系中一门特殊学科,它知识内容复杂,综合性强,与其他学科间联系较为密切。这种密切的学科之间联系对于全面提高地理教育教学质量、全面发展学生综合素质创造了有利的条件。本文旨在探究高中地理与中学其他各学科之间的相互渗透以及教学实践中的具体方法。  一、加强地理与各学科相互渗透的意义  地理课程