近年来由于带宽需求的急剧增长,时频空偏振多维多阶调制技术成为了未来光纤通信的发展趋势,作为富含空间模式资源、潜在通信容量巨大的通信介质,多模光纤也因此受到越来越多的关注,国内外各大科研机构纷纷开展相关研究。然而现有多模光纤中严重的模间色散效应严重制约了多模光纤在高速长距离光通信系统中的应用,因此如何有效克服模间色散效应,并利用模式资源尽可能地提高多模光纤的带宽距离(Bandwidth-length, BL)积是基于多模光纤的高速光传输研究的关键所在。本文从多模光纤的模式理论与特性出发,研究多种提高多模光纤容量的方法。在弱导光纤模式激发和耦合理论以及有限差分束传播法的基础上我们分析了多模光纤、少模光纤、空心光纤、特殊模斑整形器和多模耦合器的功能与性能,并介绍了一些我们实验中使用的一些多模耦合设备及器件。在此基础上我们研究了模斑整形和判决反馈均衡算法结合的技术,我们发现这种方案能够有效提高普通多模光纤的通信容量,10Gbit/s的信号能够传输1km以上。在光多输入多输出(MIMO)技术方面,我们建立了一个新型的基于偏心收发射机的强度调制直接探测(IMDD)多模光纤光MIMO系统模型,并对系统的训练序列、误码率性能等做了分析研究。此外我们以商用多模光纤为原型,建立了一个完整的基于环形收发射机的多模光纤相干光MIMO系统模型,在与单输入单输出(SISO)进行比较时我们发现2x2MIMO使得系统的带宽距离积至少增大一倍,我们分析了相干光MIMO系统的DSP算法、高阶调制以及频域预失真等技术,并提出了一个新型的未来光无源接入网(PON)解决方案。最后我们搭建了一个基于多模光纤的基带光正交频分复用(OFDM)验证性实验系统,发现在不加导频和电子色散均衡的前提下,5Gb/s基带OFDM信号能够在OM2多模光纤中传输1km以上。