论文部分内容阅读
随着互联网应用的日益增多,网络交互愈加频繁,互联网内的资源呈现出爆发式的增长。在此浪潮的冲击之下,深度学习等基于大规模数据的方法被提出,且对于许多搁置不前的经典任务,学者们开始从全新的角度加以思考。而本课题的研究方向就是对传统的机器翻译问题重新设计与建模,并使用深度神经网络来解决此问题。通过对传统统计机器翻译方法的调研,以及深度学习在自然语言处理中的应用分析,本课题旨在建立一个联合的神经网络模型来覆盖整个翻译过程,从End-to-End的角度直接完成翻译任务。以往对于机器翻译模型的改进,通常是将其中某个子模块使用神经网络进行替换,但本课题联合所有子模块进行建模,把机器翻译过程分解为编码器、解码器两大部分。在此之上对语言模型、词对齐部分、以及输出模块生成算法进一步优化,并提出一种基于递归神经网络的RNN-embed机器翻译模型。此模型最大的优势为无需对双语数据进行分词处理,平行双语对会被视为两个高度相关的具有时间顺序的序列对。双语数据以字符级别输入所提出的网络进行训练,以解决文本类信息在深度神经网络中高语义难处理的困难。基于所提出的模型,本课题还实现了一个可插拔的通用机器翻译框架,并以多线程及GPU计算加速训练过程。由于没有合适的公开数据集,便通过爬取字幕网站上的中英字幕数据,并预处理后生成一千多万对双语语料,部分作为实验数据使用。最后,通过实验验证,相比于权威统计机器翻译系统Moses,本课题的RNN-embed机器翻译模型大幅度缩减模型训练时间,同时降低翻译过程的复杂性。且与最佳的基于神经网络的机器翻译模型比较,本模型解决了基于分词的输入数据所存在的字典过大问题,并进一步提高了长句的翻译效果。