可见光通信传输速率快、保密性好、易于实现,已经成为了当今通信领域的研究热点之一。基于正交频分复用的可见光通信系统能够有效抵抗多径干扰且进一步提高数据传输速率和频谱利用率,但由此产生的高峰均比信号会导致严重的非线性失真。以此为背景,本文在研究直流偏置光正交频分复用(DCO-OFDM)系统非线性传输特性的基础之上,对已有峰均比抑制技术进行了有效改进,以获得更好的峰均比抑制效果。具体而言,主要研究内容如下:针对DCO-OFDM系统提出了一种基于载波注入的分支限界法方案,其核心思想是降低优化问题的求解维数和峰值功率。首先提出了一种平均自由度小于2的星座图扩展方案,然后采用载波注入方案将峰均比的降低问题转化为一个特殊的整数合并优化问题,进而使用分支限界法求解。为了获得更优解,保留性能好的域并进行分支操作,对性能差的域直接进行剪切。仿真和理论分析表明,基于载波注入的分支限界法方案不但获得了更好的峰均比抑制效果,而且信号的平均功率最小,同时还具有比半正定松弛方案更低的复杂度。研究了DCO-OFDM系统降低峰均比的载波预留方案,并将基于时域核矩阵的预留载波(TKM-TR)和增强TKM-TR方案应用到可见光通信系统。研究发现,TKM-TR方案具有严重的拖尾现象,增强TKM-TR方案虽然能够改善原有的拖尾现象,但在多次迭代之后峰均比抑制并没有达到理想效果。因此,本文提出了一种基于优化收缩因子的改进TKM-TR方案,其基本思想是出现峰值再生时,将最小幅值的剪切噪声对应位置上的收缩因子置零。若不能消除,则将次小幅值所对应位置上的收缩因子置零。通过仿真验证,改进TKM-TR方案不仅获得了比增强TKM-TR更好的峰均比抑制效果,而且改善了TKM-TR存在的拖尾现象。进一步,考虑到合适的信号切削比对于增强峰均比的抑制效果十分重要,本文提出了基于粒子群优化算法(PSO)的TKM-TR方案。仿真结果表明采用PSO和载波预留方案结合的策略将能够获取更好的信号切削比,从而获取更好的峰均比抑制效果和更低的误码率。