近年来,云计算/存储、4G/5G无线通信、人工智能等信息技术和产业快速发展,导致数据通信量持续爆炸性的增长,带来对大容量、高带宽、低损耗光通信的迫切需求,尤其是面向数据中心（DC）、高性能计算机（HPC）以及无线前传等应用的短距离光互连。对于短距离场景,成本、功耗、密度是关键需求,以直接检测的光互连方案为主,包括经典的强度调制和直接检测（IM-DD）以及近年来兴起的斯托克斯矢量直接检测（SV-DD）。在这些方案基础上,进一步采用包括高阶调制编码、纠错编码和数字信号处理（DSP）等先进技术可以有效提高速率。IM-DD系统的高阶调制主要包括N阶脉冲幅度调制（PAM-N）、无载波幅度相位调制（CAP）、离散多音调（DMT）等。其中,具有相对较低的复杂度和较高频谱效率的DMT在IM-DD系统中引起了大家的广泛关注。DMT根据信道的信噪比（SNR）分布,在各个载波上加载具有不同比特数的QAM调制。由于DMT具有良好的自适应性,被IEEE 802.3bs工作组视为下一代400 Gbps标准的重要格式。此外,斯托克斯矢量直接检测（SV-DD）也受到大量关注,SV-DD具有高谱效率、无本地振荡器、更少的快速傅立叶变换（FFT）操作、以及无需激光频偏和相位噪声跟踪等优势,是一种低成本直接检测的技术,也是短距离光互连的重要发展方向。本论文开展机器学习辅助的短距离光互连高阶调制技术研究,主要针对DMT调制光互连、SV调制光互连两种方法,采用机器学习辅助的DSP方法实现高阶调制性能的提升。主要研究内容包括:（1）提出基于支持向量机（SVM）的机器学习多分类判决方法,解决DMT调制的非线性损伤问题,实验实现单波112-Gbps的里程碑高速率。实验研究马赫曾德尔调制器（MZM）-单模光纤（SMF）、垂直腔表面激光器（VCSEL）-多模光纤（MMF）两种主要的光互连系统,提出并比较了针对QAM的一比多（Ov R）、符号编码（SE）、二进制编码（BE）、星座图的行和列（RC）、以及同向和正交分量（IQC）这五种不同特征的多分类方法,实验验证IQC分类方法具有最低复杂度。（2）提出基于端到端神经网络（NN-end2end）的盲估计方法,实现更低误码率的SV-DD解调。传统SV-DD解调方法包括基于偏振旋转矩阵估计的间接解调和基于盲均衡直接解调。本文提出的神经网络SV-DD解调,其输入层为接收端的SV,输出层为该星座点对应的比特编码信息,输出结果可以直接用来计算误码率。在单偏振调制4-QAM的2-D检测仿真中,在达到7%FEC时,NN-end2end的SNR比基于盲估计（B-E）方案的SNR低2d B;在双偏振调制4-QAM+PAM-2的3-D检测仿真中,在达到7%FEC时,NN-end2end的SNR比基于盲自适应均衡（BA-E）方案的SNR低2d B。可见,NN-end2end在恢复偏振旋转、缓解线性、非线性损伤方面显著优于传统解调方法。