云计算作为一种高效的计算模式受到了人们广泛的关注，使得云计算市场飞速发展。广阔的市场前景吸引了各大互联网巨头纷纷布局其云计算业务，希望在激烈的竞争环境中脱颖而出，从而形成了一个具有多方博弈的云计算市场。在这样一个云市场中，当不同云服务提供商提供相似的云服务时，云服务的价格则会对云用户选择不同云服务提供商的结果产生重要影响。现有云市场交易模式大致归为两类，分别是商品市场模式和拍卖市场模式，本文将分别基于这两种交易模式考虑云服务提供商如何制定云服务价格，能够在满足云用户需求的同时最大化长期利润。在本文中，云服务提供商之间互相竞争，可以看作是一种非合作博弈，且每个云服务提供商的云服务价格和云用户的行为(选择行为和投标行为)之间互相影响，因此这是一个涉及多个云服务提供商的序贯决策问题(即马尔可夫博弈)，同时云服务提供商并不能获取到云市场环境中的所有状态信息(各个云服务提供商会对一些敏感信息保密，避免使其竞争对手获悉)，因此这是一个部分可观测马尔可夫博弈问题。因此本文基于部分可观测马尔可夫博弈，使用多智能体深度强化学习算法和虚拟自博弈的训练方式得到最终的定价策略。本文主要研究工作如下：
　　(1)从云用户和云服务提供商两个层面对云市场进行建模。在现实中，云用户的需求通常是随机的，因此，本文考虑了用户需求的动态变化，给出了用户效用的计算方法和云用户对云服务提供商的选择模型。特别在拍卖市场模式下的云市场模型中，本文提出了一种基于反馈控制机制的投标算法来描述云用户的投标行为。对于云服务提供商，本文给出了刻画规模经济对云服务提供商成本影响的边际成本模型和计算云服务提供商在每个阶段收益的收益模型。
　　(2)在商品市场交易模式下，将云服务提供商如何定价从而最大化长期利润的问题构建为部分可观测马尔可夫博弈，并借助多智能体深度强化学习算法和虚拟自博弈的训练方式得到定价策略。之后将其与四种典型定价策略进行对比。在对比结果中，发现本文的定价策略不仅学习到了云用户的预期效用(即云用户能够接收的最高云服务价格)和云用户对于云服务价格差的敏感程度，也学到了对于竞争对手行为的最佳应对。尤其是与M-MADDPG生成的定价策略(一种对本文定价策略进行针对性训练的定价策略)的对比结果，更显示出本文定价策略的有效性，因为该结果体现出本文定价策略不会因对手恶意针对而失效。
　　(3)在拍卖市场交易模式下，通过将云服务提供商如何定价能够最大化长期利润的问题进行适当转化后，构建为部分可观测马尔可夫博弈，同样采用多智能体深度强化学习算法和虚拟自博弈的训练方式得到定价策略。之后与五种典型定价策略进行对比。结果表明，本文的定价策略在整体利润方面优于其他策略，且本文的定价策略对不同的价格区间具有较高的敏感性，能够适应极端竞争环境。此外，本文同样与M-MADDPG生成的定价策略进行了对比，结果表明本文的定价策略同样可以击败对手。本文还将其与垄断云市场中的定价策略进行了比较，发现本文的定价策略依然能够及时调整价格，使自己在竞争中处于优势地位，从而击败对手。
　　如何有效地定价从而最大化利润是云服务提供商面临的一个重要问题，尤其是在多个云服务提供商相互竞争的环境中。本文将其构建为部分可观测马尔可夫博弈，借助多智能体深度强化学习算法和虚拟自博弈的方式对这一问题进行求解。通过大量实验验证了本文定价策略的有效性，为真实云市场内互相竞争的云服务提供商制定定价策略提供一些借鉴。