近几十年以来,光纤通信技术以其独有的一系列优点给人类带来了前所未有的优质的通信手段。在经历了一个蓬勃发展的阶段之后,互联网业务的迅猛增长再一次刺激了光纤通信新技术的发展,特别是对于骨干网络和接入网络的传输和处理能力提出了更高的要求。而光通信的码型调制技术则是应对这些新要求的一个重要手段。不同的调制格式在色散容限、非线性的容纳能力、频谱利用率等方面具有各自的特点,如果能根据实际情况,选择合适的调制码型,并将码型调制技术和其他光纤传输技术相结合,则能有效地解决当前的技术难题,将光通信技术推向一个新的阶段。本文围绕码型调制技术在现代光通信系统及子系统中的应用,以解决关键技术问题、降低技术实用性的成本和提高光网络传输性能为目标,主要进行了以下几个方面的研究:波长和偏振混合编码技术在光标记交换中的应用:光标记交换网络是未来光分组网络的一种具体实现形式。在核心网络的每个节点,携带路由信息的光标记被识别、交换,而光负载可能只做波长变换,随后被透明地转发。本文在多波长标记交换的基础上提出了波长偏振(λp)混合编码的光标记交换系统,所提出的波长偏振混合编码的光标记方案相对与多波长标记能大幅度提升平均信息量,降低传输波特率从而降低对单个传输器件的要求。从理论方面详细分析了波长偏振标记信号星座图,不同标记信号之间的正交性和所提出的标记接收机的接收性能。并设计了验证性实验验证了方案的可行性。强度调制的反向归零码型到不归零码的全光码型转换:码型转换的研究目的是实现对调制格式透明的全光网络。强度调制的反向归零码(Inverse-return-to-zero, Inverse-RZ)和归零码(Non-return-to-zero, NRZ)码的全光码型转换可以应用在无源光网络到本地全光以太网的接入中。同时,码型转换同时可以使信号的接收灵敏度得到提高。利用反向不归零码型和归零码重调制的组播波分复用无缘光网络:利用高消光比的反向归零码和低消光比的不归零码,可以在一个比特内同时传输单播信号和组播信号。该方案相对于现有方案大大降低了组播网络的建设成本。可接收幅移键控和相移键控两种码型的的多码型接收机:因为未来光网络中不同规模和应用的网络对码型有不同的需求,可能需要在同一个网络中传输不同的码型。目前研究得较多的方法是码型转换,但因为目前强度信号到相位信号的全光码型转换大多利用光信号的非线性,很难实现波分复用的(Wavelength division multiplex, WDM)的码型转换,这就对WDM网络中的多码型应用提出了难题。本文提出的多码型接收机目的在于绕过码型转换的环节,在发送和接受端实现强度和相位信号的发送与接收,不同的码型直接在网络中传输。详细介绍了多码型接收机的原理并用实验验证了多码型接收机的可行性。