基于白光LED的可见光通信(VLC)技术是一种将照明与数据传输相结合的新兴无线通信技术,以其丰富的频谱资源、良好的保密性和安全性、较低的能耗和成本等优势,成为室内短距离高速传输技术的研究热点。为解决LED有限的调制带宽限制VLC传输速率的问题,本文围绕频谱效率高、实现复杂度低的无载波幅度相位调制(Carrierless Amplitude and Phase,CAP)技术展开了深入研究。针对CAP滤波器组的设计,基于希尔伯特变换的正交性原理,介绍了两种传统二维CAP调制方案;借助求解满足完全重建条件的最大最小优化问题,设计并实现了带内拟合约束和带外抑制约束两种多维CAP正交滤波器组。针对可见光CAP调制方案设计,提出了基于多维CAP的DCO-CAP、Flip-CAP及U-CAP极性处理方法。依据VLC视距传输模型以及CAP信号模型,推导出三者的误符号率理论解析式,并通过仿真实验验证了理论解的正确性。对三种CAP系统的功率效率、频谱效率及误码性能进行了分析比较。针对CAP系统有效性的进一步提高,提出了可见光SM-CAP传输方案,并推导了误码性能理论解析式。该方案同时利用信号域和空间域,将输入信息序列分成两部分,一部分进行空间调制,另一部分进行CAP调制。仿真结果表明,SM-CAP能够有效提高系统频谱效率;在接收机个数增多、发射机间距加大、收发平面距离减小以及链路存在遮挡等情况时,系统均能获得较好的误码性能。另一方面,本文还提出了可见光CAP-OFDM传输技术方案,推导了误码性能理论解析式。该方案首先采用CAP调制产生基带实信号,再利用哈特莱变换将其加载到频域正交的载波上。研究表明,CAP-OFDM在频谱效率、误码性能等方面表现出优势。针对CAP系统可靠性的提高,提出了基于Turbo码的可见光CAP传输技术方案。详细介绍了包含两个递归卷积码的并行级联编译码结构,以及基于最大后验概率算法的迭代译码原理。分析表明,Turbo码能够大幅提高可见光CAP传输可靠性。