从上世纪末起,智能无人武器在全球范围内几次重大的局部性战争中可谓出尽了风头,而随着本世纪初人工智能技术的又一次爆发增长,人工智能技术赋能未来战场的呼声日渐高涨。的确,随着人工智能、群体智能的高速发展,智能无人武器领域出现一个新的契机:智能无人武器的集群化应用,这将给各层次对抗提供更多的战略及战术选择,也将对未来战场产生颠覆性的巨大影响。本文基于此背景,针对异构多智能体对抗问题在应用强化学习技术时存在的稀疏奖励性及若干问题展开研究,针对问题的设定,进行模型建立及程序设计,在集群攻防对抗、集群护航对抗、集群警戒对抗任务场景下对算法进行了仿真验证,主要包含以下方面:（1）针对所研究问题,进行场景模型及对抗规则设计。在场景方面,提出三种典型任务场景:攻防对抗、护航对抗、警戒对抗,并对以上场景进行场景描述及任务分析。接着以异构集群为基准对任务场景构成单元种类及数量进行设计,为实现多类型单元协同策略对抗,本研究设计攻击单元、防御单元、探测单元等多种类异属性单元,针对不同种类,设定不同特点侧重的单元属性值。最后针对三种不同任务场景,分别对对抗敌方策略、对抗胜负判别规则进行设计。（2）在上述场景模型的基础上,针对异构多智能对抗问题在应用强化学习技术时存在的奖励稀疏性问题,提出局部回报重塑的方法,并在集群攻防对抗、集群护航对抗、集群警戒对抗三种典型任务场景验证了该方法在异构多智能体对抗策略学习过程中的有效性。（3）基于局部回报重塑的奖励机制扩充方法是十分有效的,但由于本领域问题奖励稀疏性问题过于严重,通过该方法扩充后的奖励体系依旧存在明显不足,这会严重影响训练学习过程的快速性。基于此,本研究叠加采用经验优先回放技术并通过攻防对抗任务场景对该方法进行了验证,结果表明叠加经验优先回放技术可以更好的解决奖励稀疏性问题。