随着现代通信网络的发展,自由空间光通信（free space optical communication,FSO）作为一种户外无线通信技术,在通信领域具有广阔的前景,在现代通信中扮演着越来越重要的角色。当今,自由空间光通信可以实现每条数据链路400Gbp的高数据速率,为在不能快速安装光纤电缆的地方实现高带宽数据传输,提供了非常有吸引力的解决方案。在自由空间光通信系统中,光学天线很大程度上决定了通信系统的光增益、有效传输面积,传输速率和传输效率,是其非常重要的组成部分。反射式光学天线因其结构紧凑、无色差、抗干扰能力强等优点,广泛应用于空间光通信系统中。其中同轴反射式天线存在严重的次镜中心能量损耗问题。随着光学面形检测技术的发展,自由曲面在各个领域受到了热烈欢迎并得到了广泛的应用。在光学天线设计中应用自由曲面相关技术,对天线的性能将会起到很大的提升作用,将自由曲面技术应用到光学天线设计具有非常重大的意义。本文根据矢量反射定理,能量守恒定律和等光程原理,提出了自由曲面光学天线的设计方法,解决了同轴反射式光学天线次镜中心能量损耗问题,并给出了具有特定光强分布的天线实例,来验证该方法的有效性和实用性,最后研究了在各种不理想环境下的传输效率。主要的工作内容如下:（1）介绍了自由空间光通信相关的研究背景,阐述了自由曲面研究历史与现状,总结了自由曲面多项式描述方法和参数化描述方法,分析了自由曲面设计原理、设计方法以及自由曲面的检测技术。（2）针对同轴反射式光学天线次镜中心能量的损耗的问题,根据矢量反射定理,能量守恒定律和等光程原理,提出了自由曲面光学天线的设计方法。基于此方法,逐点迭代地设计了新型结构的光学天线,即自由曲面反射式光学天线。通过仿真验证,所设计的光学天线降低了同轴反射式天线次镜中心能量的损耗,提高了天线的传输效率,同时本文所设计的自由曲面天线能够达到控制输出光束强度分布的目的。利用ZEMAX软件对所设计的自由曲面光学天线进行优化。（3）对自由曲面光学天线的传输效率进行了研究。分别讨论接收天线与发射天线发生轴外偏移,自由曲面天线主镜发生轴外、轴向偏移,自由曲面天线次镜发生轴外、轴向偏移以及光源发生轴外、轴向偏移的情况下,自由曲面光学天线传输效率的变化。