近年来,随着人工智能（artificial intelligence,AI）技术的快速发展,博弈论在社会智能、合作智能、机器智能、多智能体学习、AI安全和AI伦理等新兴交叉研究领域中扮演了越来越重要的角色。特别地,通过结合系统动力学和机器学习等方法,博弈论已成为复杂系统控制和AI领域中的一个热点研究方向。针对传统非合作博弈关于Nash均衡解概念的几点不足,本文主要对确定性和随机性演化博弈动力学、以及随机博弈和不完全信息博弈的学习理论进行了研究,并以此提出了一个关于复杂博弈系统研究的理论框架。具体地,其主要内容和创新点有:首先,针对多人社会困境博弈中的合作演化难题,本文基于演化博弈论框架提出了一个博弈者角色非对称的公共品博弈模型,并分析了博弈者策略在控制机制失效、施加对称控制机制和施加非对称控制机制下的确定性演化动力学。理论分析表明,当控制机制失效时,虽然合作策略能够在群体中得以维持,但其伤害了惩罚策略的演化。而当控制机制生效时,非对称控制机制是一种比对称控制机制更有利于促进合作策略演化的手段。其次,针对两人两策略博弈和多人混合决策博弈的群体决策问题,本文基于Moran过程和对比较过程分别提出了一个一般化形式的适应度函数和策略选择概率函数,并分析了这两个函数对随机演化博弈动力学结果的影响。理论结果表明,弱选择条件下的一个策略占优于另一个策略的判据不仅取决于经典的“σ-规则”,还依赖于这两个函数关于选择强度的一阶导数。其中,前者决定了该判据的参数条件,而后者决定了该判据的不等号方向。然后,针对一个变化博弈场景下的序贯决策问题,本文构建了一个网络上的多人随机博弈模型,并以actor-critic强化学习算法为基础提出了一个自适应的策略学习机制。在弱选择条件下,本文分别给出了有无学习机制作用下的一个行动占优于另一个行动的理论判据。该判据结果表明,学习机制的存在能够有效地提高博弈者在社会困境博弈环境中的适应性。最后,针对一个合作博弈者团队的不确定序贯决策问题,本文构建了一个鲁棒团队随机博弈模型,并提出了一个鲁棒团队策略迭代学习算法用于求解该博弈在鲁棒优化意义下的最优策略。理论分析表明,该算法不仅能以一个接近指数的速率收敛到鲁棒团队随机博弈的最优策略,还能借助近似计算缓解“维数灾难”问题。