随着无线传输需求的飞速发展,无线频谱资源日益紧张。虽然人们尝试采用各种先进技术来提高无线频谱资源的利用率,但是无线频谱资源的紧张仍未得到有效缓解。作为传统射频通信的有效补充,可见光通信近年来引起了学术界和产业界的广泛关注,并逐渐成为了当前的研究热点之一。可见光通信具有不同于传统无线射频通信的特点,因此无线射频通信中的相关结果并不能直接应用到可见光通信中。鉴于此,本论文将对可见光通信系统中的关键问题进行研究,主要工作包括以下四个部分：第2章推导了点对点可见光通信系统的信道容量上、下界的理论表达式。本章在独立于信号的高斯噪声下,考虑光信号强度为非负、峰值光强有上限以及平均光强为常数三个约束条件,利用“熵幂不等式”、“变分法”等思想,推导了容量下界的理论表达式；利用“相对熵”等思想,推导了容量上界的理论表达式。此外,还分析了容量上、下界之间的误差。通过数值分析发现,所得容量上、下界非常紧,验证了所得理论表达式的准确性。第3章推导了多输入多输出可见光通信系统的容量界的理论表达式,并对接收机的位置进行了规划。本章假设收发端均具有完美的信道状态信息,通过对信道矩阵进行奇异值分解,将多输入多输出信道转换成相互独立的并行信道。在光强信号为非负、峰值光强有上限以及平均光强为定值的约束条件下,利用“熵幂不等式”和“变分法”等思想,推导了信道容量下界的理论表达式。基于容量下界表达式,给出了关于接收机位置摆放的最优化问题,并通过基于粒子群优化的迭代搜索算法对问题进行了求解。数值结果对所得容量界表达式和接收机的位置规划方案进行了验证。第4章对室内可见光通信系统的星座进行了设计。本章考虑一个点对点的室内可见光通信系统,噪声为独立于信号的高斯白噪声,调制方式采用脉冲幅度调制。在光信号具有非负约束、峰值光强约束和平均光强约束的条件下,基于两种常见的星座设计策略,提出了一种联合星座设计策略。在所提策略中,信号星座由星座点幅度、星座点概率和调制阶数三个参数决定。然后,给出了星座设计优化问题,并提出了改进的Blahut-Arimoto迭代算法。为了降低计算复杂度,还提出了低复杂度的次最优算法。数值结果对所提算法的性能进行了验证。第5章对室外可见光通信系统的星座进行了设计。在本章中,信道增益由大气衰减、大气湍流和指向误差综合确定,并且在信道相干时间内是一个常数。在信号的非负性、峰值光强和平均光强三个约束条件下,给出了可见光通信系统的信号空间。针对相干和非相干检测,给出了相应的距离准则。基于两种距离准则,给出了星座设计优化问题,并提出了一个基于内点法的迭代算法。为了评估系统性能,还推导了平均星座错误概率。数值结果对所提算法的性能进行了验证。