论文部分内容阅读
由于人工智能技术的发展以及自然语言处理技术的成熟,自然语言处理技术已经派生出了很多应用,其中最常见的是智能问答系统。智能问答系统已经成功地应用到企业中帮助企业形成智能化问答解决方案。智能问答系统允许用户以可理解的自然语言与系统进行对话,系统根据用户输入的语言信息进行处理,给出符合用户需要的答案。在智能问答系统中核心的就是对用户语言的理解以及处理,这部分是一个长期优化的过程。本文主要是在公司已有的智能问答系统基础上,对智能问答对话模块进行基于知识库的增强优化,使用自然语言处理相关技术提升问答对话的效果,提升知识点的召回率以及模型的准确率。本文分为以下三部分:1.设计基于知识库的智能问答对话的效果优化功能点。问答对话模块的基础是从原始语料信息中生成知识点并添加到知识库,为每个知识点配置相应的答案信息完成自动应答。在原有问答的基础上,针对目前存在的问题,影响智能问答对话效果的因素设计相应的功能,影响问答效果的因素在于用户的语言信息是复杂多样的,对于相同语义不同形式的语义表达如何泛化,提升问答的准确率是本文要解决的问题。常见的问题是知识点相似问错放以及知识点混淆的问题。通过计算知识点之间的文本相似度以及核心词之间的距离来优化。同时,使用数据分析的手段对于平台上的数据指标进行可视化处理。使用Python来对可视化智能问答对话的各项指标进行问答效果的监测。通过不同形式的图表来展示智能问答的使用情况以及核心指标。2.研究词向量技术。通过引入Word2Vec词向量处理技术,结合Jieba分词对语料数据进行文本预处理,以及文本向量化,使用Word2Vec中的CBOW算法模型进行特征词的训练,通过计算文本相似度的算法来进行智能问答对话中相似问的学习。3.通过优化知识库搭建过程提升智能问答对话效果。对于知识库中知识点的产生使用聚类挖掘的方法从语料集中挖掘出有价值的语料信息形成若干个语料簇,从中形成有价值的知识点。数据挖掘可以为知识库,词库挖掘出更多有价值的数据信息支持项目中的使用,提升问答的效果。4.使用Python开发语言以及MySQL数据库,使用Django Web框架,前端使用Vue框架进行开发,使用Node.js作为中间层,基于原有问答系统基础上,设计出了增强问答效果的智能问答增强系统。智能问答增强系统经过3个月的迭代开发,经过功能测试和性能测试已经顺利上线,并且在5个线上的项目中完成了落地。智能问答的召回率明显提高了 4.2%,问答准确率提高了 2.1%。