在当今智能终端设备激增和互联网用户接入需求不断扩大的背景下,可见光通信(Visible Light Communication,VLC)有望成为传统无线通信技术的重要补充和替代技术,进而缓解无线通信频谱日益拥塞的现状。但由于普通商用LED的调制带宽有限,使VLC系统的传输速率受到了限制。因此,本文针对基于无载波幅度相位调制(Carrierless Amplitude and Phase,CAP)的高速率、高功效的可见光通信系统进行了研究。首先,分别针对具有较高吞吐量的多维多阶CAP技术和具有较高功率效率的多脉冲位置调制(MPPM,Multi-Pulse Position Modulation)技术进行了理论分析,提出了将CAP与MPPM相结合的混合CAP-MPPM调制方案,探究了混合调制系统采用硬判决及软判决译码算法解调时的系统性能,并推导了高斯信道下混合调制方案的误符号率理论表达式。该方案通过灵活选择调制参数,能够获得优于普通CAP与MPPM调制的频谱效率和可靠性,并且可以实现多用户接入。其次,研究了静态可见光链路的特性,并构建了室内可见光通信传输模型。针对VLC系统对传输信号的实正性约束,重点讨论采用添加直流偏置的CAP系统,分别对可见光DCO-CAP方案及CAP-OFDM方案进行了系统建模和理论分析,并通过仿真分析了系统性能。再次,采用添加直流偏置的方式对CAP-MPPM信号进行处理,提出了DCO-CAP-MPPM方案,讨论了直流偏置添加量与其误码性能的关系,在CAP星座尺寸一致时,DCO-CAP-MPPM方案的传输可靠性相比DCO-CAP有所改善。针对具有人员移动的室内可见光应用环境,研究了动态可见光链路的衰落特性,对瑞利衰落信道下DCO-CAP和DCO-CAP-MPPM的传输性能进行探究,推导了两种传输方案的误符号率理论表达式。通过仿真实验,分析了不同人员密度的室内环境中两种方案的误码性能。最后,针对DCO-CAP-MPPM方案功率效率低的问题,应用信号正负极性分组的方式对混合调制信号进行单极化处理,提出了可见光Flip-CAP-MPPM传输方案,推导了其误符号率理论表达式,并对比了不同单极化方式CAP-MPPM传输方案的频谱效率和可靠性。