模拟器的构建对于强化学习在真实环境中的应用有着极大的帮助,通过在模拟器中进行训练,我们可以有效的减少在真实环境中进行采样的所需的金钱和时间等代价。但是,现有的强化学习模拟环境的构建方法通常都存在泛化性较差的问题,而这个问题又会进一步导致在模拟环境中优化得到的策略在迁移至真实环境后的表现不稳定,从而缺乏鲁棒性。再加之真实环境中往往存在着部分行为方式随意性强、尝试通过攻击智能体策略获取收益的恶意攻击者,这些鲁棒性较差的策略在受到攻击时容易产生较大的性能损失。本文针对上述模拟环境缺乏泛化性、策略缺乏鲁棒性的问题,提出了以下两个新方法:1.在虚拟环境构建方面,针对现有的行为克隆等方法存在的泛化能力不足的问题,提出了扩展多智能体生成对抗式模仿学习（MAIL+）的方法。该方法在多智能体生成对抗式学习（MAIL）的基础上引入一个对抗式攻击者。该对抗式攻击者通过一个内部奖励函数进行强化学习训练,进而得到一个能够寻找环境模型中模拟精度较低的状态的策略。环境模型在训练中可将该对抗式攻击者作为采样策略的一部分,从而能够在虚拟环境模拟不准确的状态和专家数据集中未见的状态上进行训练,提高其泛化能力。2.在策略的训练方面,针对从虚拟环境中学习得到的策略在面对恶意攻击时缺乏鲁棒性的问题,提出了构建模仿+对抗式对手的混合对手模型（I+A）的方法。该方法在虚拟环境提供的模仿式对手之外引入了一个对抗式对手,在训练通过虚拟自对弈的方法保证该对手总能做出令智能体奖励函数最小化的最佳应对。智能体策略在训练中则可通过针对由模仿式对手和对抗式对手构成的混合对手进行优化,从而保证其策略能够同时有效的应对普通人类对手和恶意攻击者,进而使其在上线后能够应对真实物理环境中可能存在的恶意攻击,提高策略鲁棒性。