论文部分内容阅读
实体抽取作为自然语言处理的基本任务,在深度学习兴起之际,又取得了一系列突破性的进展。它作为问答系统、人机对话和机器翻译等任务的基础部分,所起的作用是不可替代的。而近来,随着人工智能的兴起和智能语义交互需求的增加,用户检索中的实体抽取成为很重要的一项功能,它相对于传统命名实体识别具有更宽广的领域需求,更严格的精度和准度需求以及更复杂的用户交互逻辑。我们可以借助实体识别结果,完成一系列的资源请求和服务分发,完成用户的需求,以及引导用户的潜在需求,这是新型的文本交互中非常重要的一环。本文基于此目标实现了线上和线下两套系统,其核心系统是实体抽取功能,辅以必要的模式匹配模块,以满足用户的热点需求和修正模型的识别缺陷。关于实体抽取部分,我们主要基于tensorflow框架对模型进行训练、调优和部署。在基线部署上,本文创新性地采用了seq2seq结构,实现了命名实体识别的基础框架;然后根据训练数据规模、输入模块粒度、归一化和注意力机制等对基线模型进行了调优;最后从词向量生成方法、注意力机制和新型模型三个方面对模型的结构进行了改进和优化。最终使得模型的效果提高了10多个点。在算法迭代过程中,我们通过整合模型和词向量增强,取得了最优的结果。最后,我们在微软的命名实体识别公开测试集上进行了模型的测试,并达到了比较好的结果。CNN编码器的实践、注意力机制的深度探讨以及实体去歧模型的调研,将作为本文后续的研究方向。其次在移动端的模型部署上,本文还针对硬件和软件两个方面进行了深层次的优化。软件方面,我们分别进行了模型压缩和数据结构优化;硬件方面则进行了依赖分离和硬件适配。总的来说,较好地解决了深度学习模型在移动端部署时所存在的内存占用高、执行效率低等问题,里边的诸多解决方法有很多值得借鉴的地方。