时间序列广泛存在于现实世界的各个领域,其相关的预测任务使用历史时间段的观察点序列来预测未来时间段可能的观察点序列,对工业、社会及科学研究的发展起到关键性作用。金融时间序列分析是较为活跃的研究领域之一,早期的传统序列预测方法依赖平稳性假说建立模型,在一些任务上取得了不错的效果,但无法处理像汇率这样受高维变量影响的非平稳时间序列。近年来资本市场不断发展,汇率在国际经济联系中发挥着重要作用,其波动可能导致跨境金融风险、危害国家经济安全,需要可靠的汇率预测为风险管理提供保障。现阶段汇率时间序列数据的规模及数量正在快速增长,各类国际事件的发生使得金融市场不确定性不断增加,时间序列预测模型面临输入时序片段更长、预测精度要求更高的需求。当前深度学习技术发展迅速,Transformer模型在自然语言处理和计算机视觉的许多任务中取得了优异表现,引发了时序分析领域的关注。近期的研究表明Transformer模型在处理长时间序列问题上表现优于以往的模型,具有更强的捕获远程依赖关系和交互的能力。因此,本文提出基于Transformer架构的汇率时间序列预测模型,相比于以往的汇率时间序列预测模型,支持更长的时间序列片段输入和输出,并提供更为准确的预测结果。主要工作包括以下两个方面:1)基于汇率预测的任务特点,本研究提出了一种改进的Transformer模型来提升精度。使用可学习的事件编码嵌入Transformer的位置编码,将事件强度和时间间隔信息注入模型,帮助模型学习历史事件的影响、捕获更复杂的事件依赖关系。并对输入特征按时间周期进行叠加以进行周期性增强,建立多层次的序列关联,提升模型学习历史数据自相关性的能力。此外,本研究用小波变换对序列数据进行噪声去除。相关实验表明,使用上述方法的模型在2019年美元兑日元5分钟频次的汇率数据集上获得了比基准方法更好的准确性,与当前最先进的长时间序列预测模型Informer相比,均方误差降低了44.2%,平均绝对误差降低了25.7%。2)针对Transformer的自注意力并行结构带来的优缺点,本研究提出了一种改进的Transformer架构来提升性能。使用卷积神经网络对自注意力单元进行改进,降低了自注意力运算50%的时间复杂度,同时能保证与其他Transformer模型同等甚至更高的预测精度。并提出了改进的自注意力提取操作,使用扩展的因果卷积代替正则卷积来连接自注意力块,进一步扩大Transformer模型的感受野,达到指数级增长,并有效降低计算成本。相关实验表明,使用上述方法的模型在2019年美元兑日元汇率数据集上预测效果好于同样基于Transformer架构的Informer模型,在性能表现上有较大的提升,且计算和存储成本更低。上述两项工作提出的方法与具体的X-former预测模型无关,可以集成到其他基于Transformer结构的模型。