在面向服务的系统架构中,单个web服务的有限功能已无法满足用户日益复杂的业务功能需求,从而催生了组合已有的简单服务来构建满足用户复杂需求的增值服务的方式,即服务组合。随着web服务技术的快速发展,具有相同功能不同QoS水平的服务越来越多,服务组合面临一个服务筛选过程。基于QoS感知的服务组合方法,以最大化满足用户需求为目标,日渐成为领域研究热点。另一方面,基于网络的web服务具有内在的动态变化性,这就要求组合方案具有一定的自适应性。同时,组合业务流程的复杂性及候选服务的快速增长,导致当前服务组合方法面临大规模问题。基于以上考虑,本文提出了基于强化学习的QoS感知的服务组合优化方案。主要包括两方面,一个是基于直接探索的强化学习组合算法优化,它计算状态的回访频率,并利用这些学习经验指导探索过程,从而加速算法收敛。另一个是,基于高斯过程的强化学习组合算法优化,它利用高斯过程,一个核函数逼近技术,来预测目标函数值的分布,具有强大的表达能力和泛化能力。实验表明,本文提出的优化算法具有有效性,自适应性和可扩展性。