随着工业生产技术逐步改进,越来越多的机器人设备在生产制造中发挥作用。提高装配效率与产品质量、降低成本消耗,是工业领域面临的行业需求。目前多数工业机器人装配操作应用于结构化环境,当面对高精度要求、易碎材料、几何约束关系复杂、工件存在弱刚度部分的装配任务时难以保证产品效果,缺乏鲁棒性和自主学习能力。轴孔装配是众多装配过程中的典型案例,其中的多轴孔装配元件交互情况更复杂,接触状态多变,同时存在接触力跳变等不确定性等问题,需要完善机器人的装配策略,提升自主学习能力,实现柔顺控制。本文以多轴孔装配过程为研究背景,结合机器人技术、深度强化学习等理论,研究连续动作空间下机器人的装配策略,并在搭建的多轴孔柔性装配平台中进行了算法验证,取得了良好的效果。本文的主要研究工作如下:（1）描述了多轴孔装配过程。研究了多轴孔装配过程特点,将该过程划分为寻孔阶段与插入阶段进行分析。（2）搭建了多轴孔装配研究物理平台与仿真平台,介绍各平台系统组成与实验设计,并分别研究不同环境下奖励函数设计与模板匹配方法应用,为算法验证提供平台支持。（3）开展了对于深度强化学习的理论研究,提出了基于NAF与DDPG算法的柔性装配系统方法。首先结合机器人多轴孔装配过程,对深度强化学习的算法进行了分析和阐述,分析了机器人研究应用连续动作空间的意义,然后研究了NAF与DDPG算法的原理和训练流程,并设计了网络结构与训练设计,构建了多轴孔装配学习模型,最后对训练过程图像、装配成功率等内容进行分析。实验结果表明,本文所提出的装配方法可以有效提升系统学习能力,从而指导机器人更准确的完成装配任务。（4）针对经验回放方法占用资源较多、收敛性能有限等问题,开展A3C算法研究,引入多线程概念提升学习能力,分析先前连续动作空间下的算法中采用经验回放机制的一些不足,如系统学习过程较长,总结算法在减少系统存储空间、缩短计算时间、提升训练效率等意义,同时提出了改进思路。最后,整理、总结了本文中的主要研究内容与工作,归纳了本文目前的不足之处及后续可以开展的改进方向。