中国建筑能耗在过去20年中以每年10%左右的速度增长。2019年中国建筑运行能耗约占全国能源消耗总量的22%。在商业建筑中,约40%～50%的总用电量归因于暖通空调系统。随着物联网和人工智能技术的发展,基于深度强化学习的暖通空调系统控制算法受到了广泛关注,其重要原因是这些控制算法无需知晓明确的建筑热动态性模型和不确定性参数的任何先验信息。然而,随着商业建筑区域数目的增加,现有控制算法具有较低的可扩展性。因此,非常有必要对基于深度强化学习的多区域商业建筑中可扩展的暖通空调系统控制算法进行进一步研究。首先,本文建立了多区域商业建筑暖通空调系统能量成本最小化问题。由于存在不确定性系统参数、不明确的建筑热动态性模型与室内温度和二氧化碳浓度等相关的时间耦合约束、各个区域供风速率相关的空间耦合等挑战,直接求解上述优化问题非常困难。为了应对上述挑战,将该优化问题重新建模为马尔可夫博弈。接着,本文提出了一种基于深度强化学习的能量优化算法来解马尔可夫博弈问题。具体而言,该算法将训练过程划分为若干阶段,每一阶段具有高适应度的神经网络权重参数将作为下一阶段的神经网络初始权重参数。同时,在每个阶段,利用多智能体注意力深度确定性策略梯度算法进行多个种群的并行训练。在训练结束后,采用种群杂交、进化等方式筛选出具有高适应度的种群。基于真实数据的仿真结果表明,与其他方案相比,所提算法可以使区域内空气质量和温度保持在人体舒适范围内的同时,降低12.0%-47.99%的能量成本。最后,本文进行了总结并对未来研究工作方向进行了展望。