自由空间光通信系统(FSO)以激光为载波，以大气作为传输媒介，实现信息的定向高速传递。光学天线是FSO系统与大气信道的接口，分为发射光学天线和接收光学天线，分别解决的是信号光束的准直、接收问题。因此，进行光学天线的优化设计对提高FSO系统的通信质量有着非常重要的作用。 在发射光学天线的设计中，为了减小振动引起的误码率，本文提出了通过控制接收端光斑形状和大小来抑制误码率的设计方案。结果表明：在实际通信环境中，通过选取合适的接收端光斑参数，可以使振动引起的误码率达到最小值。最小误码率与通信距离、振动参数、码元判别电压对应的接收光强等参数相关。通过调节发射端光学天线参量可以获得指定的接收端光斑参数。对于振动不对称的情况，接收端光斑选择椭圆形。利用高斯光束斜入射光学系统后的像散，使出射光束在子午面和弧矢面上的束腰位置分离，可以得到椭圆形光斑。 本文还研究了作为收发合一天线的卡塞格伦系统。从发射天线的角度，用扩束性能和发射天线增益两个设计要素讨论天线结构参数间的关系，给出了卡塞格伦结构对高斯光束的扩束矩阵，以及发射天线的天线增益公式；从接收天线的角度，用几何像差(球差，彗差)和系统视场角等因素对结构参数间数学关系做了进一步计算。以上的分析给出了卡塞格伦天线结构参数的优化关系，在结合FSO系统整体设计给出的扩束系数ω1/ω0、主镜孔径Dp和天线的系统焦距f后，可以计算得到卡塞格伦天线的各个结构参数，完成天线设计。