可见光通信（Visible Light Communication,VLC）技术是未来最后一公里高速接入技术的潜力方案。随着移动互联网、物联网、人工智能、云原生和虚拟现实等技术的发展,全球无线数据流量呈现指数增长,在未来,发展6G技术是提升通信终端容量的重要有效途径。但是,可用的无线频谱资源已经拥挤到饱和,无法支撑下一代通信,VLC技术以380～750THz的载波能力应运而生,为高速无线通信提供了新的技术方案。VLC系统的非线性损失严重影响系统性能,机器学习和深度学习是求解非线性的新颖数字信号处理方法。本文对机器学习和深度学习在VLC系统的非线性补偿进行研究,基于高斯特征和高斯过程技术提出了两个均衡模型:1.提出一种基于时域信号的高斯特征作为机器学习模型输入的非线性补偿方法。本文首先分析VLC系统接收端在经过线性均衡后的特定序列数据Patterns的各个特征在非线性因素和加性高斯白噪声影响下的分布情况。复杂变化的背景噪声局部特征计算量大,引入了信号特征噪声分布情况作为学习模型输入,从信号数据本身出发挖掘非线性特征。其次,利用高斯分布和概率统计对Patterns之间的噪声进行量化,获得非线性信号数据的先验知识。最后,利用朴素贝叶斯机器学习算法设计出VLC系统非线性补偿器,对信号进行补偿,提升系统传输速率。2.提出一种端到端的基于高斯过程深度学习补偿模型。首先,针对VLC系统的线性、非线性因素和加性高斯白噪声影响,假设接收端任意多个信号数据集合为随机过程,每个信号数据的有限集合都符合正态分布。然后使用深层叠加的高斯过程对历史数据进行记忆,采用非参数模型对VLC系统非线性数据的隐含细节特征进行刻画,拟合线性和非线性函数。同时本模型将非线性系统考虑为端到端的均衡方案,不针对系统中某一个部分的非线性进行分析,而是将VLC系统作为黑盒进行输入和输出处理。最后,给出了具体实现形式,通过深度高斯过程给出信号分类预测值,对预测不确定性进行度量,提高系统误码率性能。同时,为了验证本文所提两种模型的均衡效果,搭建了VLC系统实验平台。大量数值结果表明,两种均衡模型对VLC系统的非线性补偿效果都比较明显。