随着互联网和旅游业的高速发展,在线旅行社（OTA）凭借出色的服务逐渐取代了传统的旅游代理商,成为人们旅行购票必不可少的一部分。而在OTA所经营的诸多业务中,机票业务占据了相当大的一部分。出于自身利润的考虑,OTA希望能够通过对机票产品价格的动态调整,最大化机票销售的利润。目前,大多数OTA都是通过在为航空公司代售机票并在此基础上额外收取一笔佣金来赚取利润,许多OTA尝试通过基于自身行业经验来调整佣金以获得更多利润。但由于在真实世界中机票的需求和用户的行为模式十分复杂,因此专家经验以及数学模型等方法应用在调价决策上存在着许多缺点。基于强化学习算法擅长解决策略优化问题的特点,本文采用强化学习的算法来对动态定价的策略进行研究。另一方面,由于强化学习的训练需要通过和环境不断进行交互来完成,而在动态定价问题中,直接和真实环境进行交互将会在市场上带来非常巨大的负面作用。考虑到这两个因素,如何模拟用户的行为并以此为基础开发出能够体现市场真实反馈的模拟环境是一个十分重要的研究。因此,我们提出了一种机票购买仿真模型。该模型可以根据历史数据模拟生成用户群体,再根据机票价格等其他信息,模拟用户的购买行为。模型还能够根据历史数据和新产生的数据不断调整自身参数,拥有一定的自学习能力并且使仿真模型具有更好的效果。此外,在强化学习算法的研究中,由于定价问题中市场、用户有着不确定性较高的特点,因此强化学习算法的表现会受到状态不可测所带来的影响。同时,用户的消费需求也会随着外部条件改变而改变,使用同一种定价模式无法兼顾到不同需求的用户,必然导致模型的效果不够优秀。所以基于上述两点,我们提出了一种基于模式转换的循环神经网络强化学习算法。最后在真实世界的数据集上的实验结果表明,我们的用户模拟仿真模型可以较好地模拟出用户的行为,同时我们的强化学习动态定价算法在和其他算法的对比中表现良好。