基于众智数据的软件工程停用词生成及分析

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:Lossed
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息检索技术和自然语言处理技术是解决软件工程问题中最广泛使用的方法。在这些技术中,一个关键的操作是停用词移除,其目的是通过利用停用词表来移除传递较少语义信息的一些经常出现的词。因此,停用词表在决定这些技术在解决软件工程问题中的性能方面起着重要作用。软件工程领域目前广泛应用的通用英语停用词表已经过时且不具有领域相关性,人工基于任务总结的新的停用词表通常具有主观性及不完善性。据本文所知,软件工程领域目前并没有领域通用停用词表。为了填补这一空白同时解决上述问题,本文试图生成软件工程领域通用停用词表并对其进行分析。本文主要贡献如下:(1)总结了软件工程中停用词表的应用现状。本文通过系统地搜索、分析总结一些顶级期刊和会议的相关文献,将软件工程历史上已出现的停用词表进行了分类。(2)首次生成软件工程领域停用词表。本文基于Stack Overflow中的众智数据,在分析及预处理语料库的基础上,实现基于词频及文档频率分布的算法,分析生成了软件工程领域停用词表。同时,分析了本文使用的语料库与通用英语语料库的不同、以及停用表的内容。(3)基于无监督bug报告摘要任务对停用词表应用效果进行了分析。在任务中分别应用本文生成的软件工程停用词表及通用英语停用词表来预处理数据集,以通用英语停用词表应用效果作为对比基准,通过采取相同的评价标准、实验平台和实验步骤来排除其他因素的影响。分析结果表明本文生成的软件工程停用词表应用效果最好。(4)基于无监督推荐API相关教程片段任务对停用词表应用效果进行了分析。在任务中分别应用本文生成的软件工程停用词表及通用英语停用词表来预处理数据集,以通用英语停用词表应用效果作为对比基准,通过采取相同的评价标准、实验平台和实验步骤来排除其他因素的影响。分析结果表明本文生成的软件工程停用词表应用效果最好。
其他文献
发展壮大农村集体经济,对于解决当前农业农村突出问题、推动乡村全面振兴具有十分重要的意义。本文以临猗县农村集体经济的发展为研究对象,采用文献参阅、实地调研、对比分析
民办高校作为高等教育的一支力量,在我国的高等教育中,发挥着重要的作用。截止2009年6月,我国大陆地区民办高校的数量达到612所,占到中国大陆高校数量的25%左右,发展速度可谓
在新媒体、自媒体的夹击之下,实现突围已成为传统媒体生存发展的当务之急。本文立足于传统媒体在信息传播中的优势,提出以品质求生存的路径,突出用户信息主体地位,基于用户信
大学文化建设是近年来引人注目的热门话题。在我国,大学文化是社会主义先进文化的重要组成部分。面对知识经济时代,大学逐渐从社会发展的边缘走向社会中心,在构建和谐社会,建
研究生教育作为高等教育系统中最高层次的教育,其地位随着社会、经济的发展越来越重要。研究生教育为我国经济社会发展培养了大量高层次人才,为我国的现代化建设作出了巨大的
发票在我国的经济生活和国家税款征收过程中都扮演着非常重要的角色,它承载着双重法律功能。然而现实生活中经营者不开具发票的状况也直接影响着消费者权益的维护和国家税款
<正>作为动画片视觉流程中最基本的元素镜头画面设计不仅需要有深厚的美术绘画功底,而且需要运用各种电影语言的技巧。什么是镜头画面设计?"镜头是画面构成的基础,每一个画面
严格意义上的中国近代高等教育产生于19世纪60年代,但它却不是中国传统封建教育的自然延伸和发展,而是伴随着西方科学技术地引进,在西学东渐浪潮的冲击下,在近代中国发生深刻
在第二次世界大战结束后,世界各国之间力量对比的变化,使得由美国在战后主导建立起来的涵盖世界金融、贸易的国际经济体系,迄今为止该体系仍然对国际社会具有深远的影响。本文主
本文阐述我国银行业迎来了严峻的转型期,迫切需要供给侧改革,而管理会计是供给侧改革下现代商业银行实现优良业绩的重要工具。作者通过管理会计在我国商业银行的应用与国外同