自由空间光通信通常使用无色差的卡塞格伦天线作为发射和接收天线。卡塞格伦天线中,沿主光轴传输的光线经次镜镜面反射后,中心光线无法到达主镜,这部分能量无法通过天线系统传输,造成能量损失。在接收天线端,经卡塞格伦天线接收能量在被检测到之前需要耦合进入单模光纤。然而,由于系统结构原因,经卡塞格伦天线接收的光束为空心光束,耦合效率将受到影响。传统的矩阵方法进行光线追迹要求反射面具有旋转对称性和入射光线是近轴光线,然而,在天线设计过程中,天线可能不具有对称性,光线也不局限于近轴光线。所以,传统的矩阵方法对光学天线中的光线追迹不再适用,有必要研究适用于任意天线结构的三维空间光线追迹的改进的光线传输矩阵方法。设计新型的天线,使次镜反射的光全部反射到主镜上,可以有效避免次镜中心能量损失,提高光学天线系统的传输效率。在接收天线和耦合透镜之间增加光学系统使卡塞格伦天线接收到的空心光束变成实心光束,能有效地提高耦合效率。本文的主要研究内容如下:本文基于三维矢量反射定理和矩阵理论提出了一种改进的光线传输矩阵方法,该方法可用于三维空间中反射系统间精确的光线追迹。该方法的优势在于:（1）反射镜面不局限于旋转对称结构,可设计成任意形状;（2）光线不需要投影到两个垂直的平面计算光线与反射面的交点坐标,方法简单;（3）光线不用局限于近轴光线,可以是任意高度和任意角度的光线;（4）每根光线的长度和角度都可以精确计算,当反射次数较多时,用这种方法不存在偏差的积累。本文对改进的传输矩阵方法的正确性和广泛适用性进行了验证。首先,用改进的光线传输矩阵方法仿真了两球面反射镜之间的光线追迹过程,证明了这种方法的正确性。随后,把改进的光线传输矩阵方法分别用于两个旋转对称反射镜结构、两个非旋转对称曲面和两个离轴曲面间的精确的三维光线追迹,说明了该方法普遍适用性。最后给出了改进的光线传输矩阵方法的两个应用:分别对光通信中传统卡塞格伦天线系统和激光雷达中收发合一的光学天线系统进行了三维光线追踪仿真。本文提出了一种由离轴抛物面型主镜和倾斜双曲面型次镜构成的环焦天线结构。与传统卡塞格伦光学天线相比,传输效率提高了24.54%。首先,根据二次曲面的反射规律,给出了环焦天线的设计原理和天线中各反射镜面的表达式。当主、次镜口径确定后,计算了各镜面的参数,并用最小二乘法得到了各参数之间的关系。然后,仿真计算了光源偏移对天线性能的影响,得到了发射天线的最大发散角与光源轴向离焦量和横向离焦量的关系;仿真计算了接收天线主镜的偏移和接收天线偏转对天线性能的影响,得到了接收天线主镜轴向离焦、横向离焦和接收天线系统存在偏转角时的像差。随后,仿真分析了传输距离不同时,传输效率与发射天线次镜偏移和接收天线偏转的关系。文中还考虑了次镜结构对天线传输效率的影响。最后,针对光通信波长设计了一维光子晶体多层膜,理论上可以使入射到镜面的光束实现全反射,进一步提高天线的传输效率。本文针对卡塞格伦接收天线接收的空心光束与单模光纤之间耦合效率进行了研究,提出了把空心光束变成实心光束的方法提高耦合效率,并设计了一种把空心光束变成实心光束的光学结构。首先,用仿真和实验的方法分析了空心光束的产生原理,并根据光纤耦合效率的定义,用数值仿真的方法得到了不同空心率的光束的耦合效率。结果表明,光纤的最佳耦合效率随空心率的增大而减小。然后,设计了由一个凹透镜和正-负角锥透镜构成的光学系统,把天线接收的空心光束转变成实心光束,并计算了实心光后的耦合效率。结果表明,空心光束变实心光束后,最佳耦合效率提高到80.80%。文中还用最小二乘法得到了最佳耦合参数与空心率的关系。最后,仿真分析了耦合透镜和单模光纤的对准偏差对光纤耦合效率的影响。本文的研究成果可以解决光学天线的仿真方法问题、传统卡塞格伦天线次镜中心能量损失问题和接收天线接收的空心光束耦合效率较低的问题,从而优化光学天线仿真分析方法,提高天线的传输效率和耦合效率。