在现代光学工程中,众多精密高性能光学仪器、光电设备和各种光电系统都依赖于光学薄膜。光学薄膜成膜系统的设计和优化是提高薄膜性能的关键,为此,包括模拟退火法（GSAM）、粒子群优化（PSO）、遗传算法（GA）、蚁群算法、模因算法（Memetic）被应用在膜系设计当中。随着科学技术的进步,对光学薄膜要求越来越高,薄膜层数也在不断增加,此外,设计大带宽频谱需要考虑材料的折射率随波长的变化。随着参数量的增加,传统优化算法效率低且因容易陷入局部最优解,优化效果显著下降。近年来,人工智能机器学习发展迅速,使得利用人工智能算法进行光学薄膜设计成为可能,目前有研究使用监督学习进行光学薄膜优化设计,尽管能够实现部分设计任务,但是其需要大量的已知数据去训练模型,另外,在光学薄膜的优化过程中,由于搜索空间大,这种监督学习很难完成对未知的光学薄膜结构和材料的预测。本文针对当前光学薄膜设计所存在的上述问题,在对光学薄膜理论进行深入分析的基础上,发现采用长短期记忆神经网络（LSTM）十分有利于实现光学薄膜结构的自动生成,进而采用深度Q学习（DQN）与光学薄膜设计理论相结合的方法可以实现对膜层结构的高效和高精度优化;完成了算法设计和程序编写,并对方法的有效性和全局优化能力进行了仿真验证;最后,通过加入非重复门控系统,进一步提高了该算法的收敛速度和优化效果。论文所完成的主要工作如下:1.基于LSTM算法,设计了光学薄膜结构生成方法,并将DQN算法与光学薄膜设计理论结合,设计奖励函数,搭建了智能体和薄膜优化设计环境,完成了算法设计。使用python编程语言完成了LSTM+DQN光学薄膜设计算法的编程,实现了应用该算法进行光学薄膜设计的功能;2.分别对高透膜、高反射膜、1:1分光膜、光学薄膜滤波器、远红外宽带增透膜等典型应用场景进行了膜系优化设计,并与目前广泛用于薄膜设计的算法模因算法进行了分析对比。在无需人工干预情况下,基于LSTM+DQN算法的设计均优于模因算法,尤其在设计1:1分光膜时,所设计出的薄膜结构,评价函数值相较模因算法减小了一个数量级。计算结果表明,LSTM+DQN算法相对传统智能算法有更好的全局优化能力;3.在上述LSTM+DQN基础算法的基础上,通过设计并加入一个非重复门控系统,有效避免了算法对相邻材料的重复选择。为验证该门控系统对设计的影响,在高反射膜设计任务中,经500个训练周期后高反膜平均反射率相对于LSTM+DQN基础算法提高了 1.5%,表明该门控系统对于提高算法的收敛速度和优化效果具有明显的作用。