自由空间光通信结合微波通信建设方便、灵活组网和光纤通信高传输速率,频带资源丰富,高安全性的优点,具有广泛的研究和工程应用价值。然而,对于以大气为通信信道的激光通信系统,链路的不可靠性会导致通信质量下降,甚至链路断裂。因此,在自由空间激光通信系统内引入自适应光学处理技术来抑制大气湍流效应,对于实现可靠的激光通信至关重要。本文聚焦激光通信信道空间自适应处理关键技术,对自适应光学系统模型和波前校正算法进行了重要的研究。主要研究内容如下:首先,针对微机械膜变形镜（DM）结合夏克哈特曼波前传感器（SHWS）组成的闭环自适应光学系统,本文提出一种基于完整二阶系统响应的DM-SHWS模型,用于表征变形镜归一化指令到光斑点偏移量的转换关系。不同于传统的仅包含二阶系数的建模方法,本研究额外引入一阶和常数项系数,分别用来表征参考面响应的实验测量误差和优化光斑点偏移量和变形镜指令函数曲线的拟合结果。随后,针对微机械膜变形镜控制通道的非线性响应和强耦合性问题,详细阐述了系统模型的校准方法。实验验证较于传统系统模型校准过程,完整二阶系统拟合法得到的光斑点偏移量和变形镜指令的拟合曲线与实际测量数据拟合结果更为精确,尤其在归一化指令定义域的较大和较小边界处。同时,完整二阶系统响应模型应用于随机电压指令的波前偏移面重构,误差占比小于10%且波前相位RMS值小于1/8个波长的波前偏移面的重构准确率高于95%,表征出对噪声抖动良好的抵抗能力。其次,针对畸变相差的波前校正过程,本文提出一种基于完整二阶系统响应模型的迭代波前校正算法,使用优化方法获得能构建与畸变波前相位共轭的反射面的变形镜归一化指令,并通过非线性迭代校正残余相差的方式获得最优的校正结果。不同优化方法通过MATLAB进行仿真分析,并根据迭代次数和耗时情况选定了高斯牛顿法作为波前校正算法获取共轭指令的实现方法。同时,迭代波前校正算法的性能在自适应光学实验平台上得到了验证,针对畸变相差能在两次迭代时收敛至最优或近似最优的校正结果,系统输出波前相差小于1/8个波长。另外,对于动态大气湍流的适应性,由于变形镜校正能力有限,只要输入波前RMS值小于1.8个波长,自适应光学系统输出波前均能收敛至1/8个波长以下。