基于指纹检索的文本相似性检测技术研究与应用

被引量 : 0次 | 上传用户:truebug
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络的开放性与文本的易复制性为学术资源的共享提供方便的同时也为抄袭、剽窃等学术不端行为提供了机会。从保护知识产权、端正学术风气等角度出发,文本相似性检测相关技术的研究已成为十分必要的方向。论文以某基金项目申报书相似性检测为应用背景,为了在海量文档中快速、准确地检测出相似的文档,主要研究基于指纹检索的相似性检测系统中所涉及的关键技术如指纹快速检索算法与技术、指纹的提取模型与方法等,具体的研究工作如下:(1)针对海量文本相似性检索中指纹数少导致相似度估值不准确、高维向量距离计算耗时等问题,提出基于指纹分组的并行检索算法,将指纹分组建立索引,预检索低位指纹,从而减少文档的距离计算。同时,通过在指纹的检索过程中使用CPU+GPU并行技术,整体缩短指纹的检索时间,并提高低相似度阈值的检索准确度。(2)针对文档内容结构性、各章节多样性及用户对文档不同部分关注度差异较明显等特点,论文主要研究细粒度划分方法、标记词的模糊匹配、中文分词等技术,实现章节、段落、句子等粗细粒度的精确提取。针对基金项目检测准确性的要求,使用了基于字符串匹配的最大正向匹配算法和最大反向匹配算法相结合的方法确保特征指纹提取的准确率,所形成的指纹能确保后续的检测质量,并能直观、清晰地呈现相似性证据。(3)论文论述了文本相似性检查系统的功能框架与主要流程,对文档聚类、相似性估计及文档相似性详细比对与结果呈现等技术进行了详细分析,结合提出的指纹分组并行检索算法与细粒度文本提取技术进行了实现研究。图20幅,表4个,参考文献56篇。
其他文献
体验经济时代下的手感经济具有独特优势,塑造"手感风格"是传统工艺品牌形象创新升级的有效途径。本文首先从体验经济时代的呼唤、生态环保的需求、消费者的需求这三个方面,指
本文将标会置于传播学的框架下,以福建某个村落为研究背景,以参与式观察法体验标会过程,并结合深度访谈收集相关材料,试图从微观层面上研究标会,关注传播在标会的整个过程中
<正>中风后肩手综合征(shoulder-hand syndrome,SHS)是指在中风急性期或恢复期,病侧上肢出现浮肿、疼痛及肩部疼痛,使肩手的运动功能受限及血管运动性改变的疾病,是中风患者
本文依据文献记载,考证了避暑山庄文津阁内琉璃建筑的历史变迁情况,同时依据历史照片和现存的琉璃构件,在与现存同时期的建筑文渊阁、文溯阁和文澜阁的琉璃样式作比较的基础
在物业税开征之前,确立物业税税基评估主体并对其性质予以确认是一个亟待解决的问题。本文借鉴国际经验,通过比较分析,认为我国应该选择准政府性质的专属评估机构来负责税基
<正>这两年,在庆祝新中国成立60周年的主题引领下,中国合唱又经历了轰轰烈烈的发展。我们不难发现,中国合唱依然发挥着巨大的社会作用和政治作用。同时,它也逐渐地顺应了历史
当前,我国青少年网瘾问题已经成为严重的社会问题,对下一代人的健康成长构成了巨大危害。引发青少年网瘾问题的原因是多方面的,但从根本上讲,问题的症结在于虚拟世界和现实生
为认真贯彻执行《内蒙古自治区建设工程社会保障费筹集管理办法》,规范建设工程社会保障费使用行为和建筑业企业用工行为,维护建筑企业职工合法权益,促进全区建筑业健康发展,
<正>静物画作为一个独立的画种,最早出现于16世纪的意大利,繁荣于17世纪的荷兰。静物画在内容表现与艺术形式上,是以沉静内敛、静止不变的物体如花卉、器皿、蔬菜、蔬菜、水
<正>文艺评论是文艺事业的重要组成部分,是推动文艺繁荣发展的重要力量。历史和实践证明,做好文艺评论工作,对于贯彻落实党的文艺方针、引导文艺创作、推介优秀作品、提高审