可见光通信(VLC)作为一种绿色、安全、频谱资源丰富的新兴通信方式,它有效缓解了现有射频通信频谱资源紧张的问题。但是,作为可见光通信系统的关键器件,LED本身的电光转化非线性和有限带宽带来的记忆效应制约了信号的传输质量。为了提高VLC系统的性能,需要抑制传输过程中信号产生的非线性失真。本文针对系统受到的线性与非线性损伤,对VLC系统建模,并基于该模型先后提出了两种基于机器学习的后失真补偿器结构。本文的主要内容如下:首先对可见光通信系统建模。利用维纳模型、Rapps双端饱和模型和点光源的郎伯辐射模型,推导出直射链路下包含LED非线性电光转化和记忆效应的信道响应。结合DCO-OFDM调制,搭建VLC系统模型。通过该模型观察信号落入不同区域时幅值和星座图的变化,验证非线性失真存在的真实性和本文研究非线性失真补偿技术的必要性。其次,针对传统后失真补偿方法和决策树方法的缺陷,提出一种利用网格搜索法寻优的基于XGBoost后失真补偿方法,提升补偿器的拟合精度和泛化能力。仿真证明在牺牲一定的计算复杂度情况下,与基于线性最小二乘法、沃尔泰拉级数和记忆多项式的后失真补偿器相比,基于XGBoost的后失真补偿器在高偏置电压时降低了信号的误差向量幅度和信噪比要求,在达到相同误比特率条件下提高了信号的偏置电压和动态范围。最后,考虑VLC系统记忆效应带来的信号前后依赖关系,提出一种基于LSTM的后失真补偿方法。通过改造数据的输入形式,使用Adam优化算法,提升模型的准确性与收敛速度。仿真结果表明,与基于线性最小二乘法、记忆多项式和XGBoost的后失真补偿器相比,基于LSTM的后失真补偿器在强非线性电光转化和不同基带调制方式下都进一步提高了系统的传输性能。同时基于设计的实验系统,利用提出的LSTM后失真补偿器在较小驱动电压条件下提高系统的最远传输距离。