基于白光LED的可见光通信(VLC)技术作为一种绿色、环保、安全且能够有效解决无线射频频谱资源危机的新型通信技术受到了广泛关注。在VLC技术领域中,尽管通过光电检测器件(PD)接收信息的非成像VLC系统已经具有较为成熟的技术模式,但是在VLC调制技术改进、传输速率提高等方面仍有许多需要解决的问题。与此同时,将VLC与成像设备相结合则较为符合当前通信领域移动化、智能化的趋势,而且将机器学习与成像VLC系统相结合将推动技术的实用化进程,能够大幅度开发其应用空间。为了解决LED有限的调制带宽限制VLC传输速率的问题,本文围绕频谱效率高、实现复杂度低的空间调制(Spatial Modulation,SM)以及广义空间调制(Genralized Spatial Modulation,GSM)技术在室内VLC系统中的设计与实现进行了研究,且研究目标分别针对非成像VLC系统以及成像VLC系统。首先,针对非成像VLC系统传输速率提高的问题,基于空间调制(SM)概念,提出了空间脉冲宽度调制(SPWM)和空间脉冲位置调制(SPPM)两种技术方案;基于广义空间调制(GSM)概念,提出了空移键控-脉冲宽度调制(GSPWM)和空移键控-脉冲位置调制两种技术方案。设计了每种方案的通信协议,开发实现了方案验证的软、硬件实验平台。通过系统测试,验证了各个方案的可行性与有效性可靠性,实验证明,SM与GSM能够有效提高传输速率和系统频谱效率。其次,针对非成像VLC系统通信距离较近的问题,将成像设备与VLC系统相结合,提出了基于摄像头的成像VLC系统方案。设计了该方案的通信模型、通信协议与软件控制流程,并采用了有效的图像处理算法来提升系统的可靠性。在此基础上,搭建了系统实验平台,通过通信性能测试,验证了系统运行的可行性与稳定性,并对系统进行了优化。实验证明,相比于非成像VLC系统,成像VLC系统能够大幅度提升通信距离。最后,针对成像VLC系统人机交互频繁的问题,引入机器学习相关算法,提出了基于卷积神经网络(CNN)的成像VLC系统方案和基于Haar分类器的成像VLC系统方案。通过构建实验模型进行测试,验证了系统方案的可行性与有效性。实验证明,将机器学习引入VLC系统能够提升系统的智能程度,并为可见光通信技术的推广与应用提供了新的研究方向。