可见光通信(VLC)具有频谱资源丰富、保密性好、成本低、能耗小等优点,因而成为近年来无线通信研究热点之一。使用多LED光源发送和多PD接收的MIMO-VLC系统可以极大提升系统的传输速率,所以其收发机的设计与优化具有重要的理论研究和应用价值。本文针对MIMO-VLC系统的收发机设计,研究了波束成形方案、自适应均衡算法、单用户和多用户场景下的发射预编码矩阵和接收均衡矩阵联合优化。主要工作如下,一、针对MIMO-VLC系统提出了一种发送端空时编码与波束成形相结合的发射结构。首先,根据可见光系统传输信号的特点,对传统无线通信中的分组编码技术进行修正并应用于MIMO-VLC系统中;然后,对编码后的信号再进行波束成形;接收端采用了最大似然译码方法。仿真结果表明,该波束成形和空时分组编码相结合的发射方案,可以在获得满分集增益的同时,取得一定的阵列增益。二、针对SISO-VLC系统,提出了一种基于指数函数与双曲正切函数复合的改进LMS接收端均衡算法。在介绍自适应均衡以及经典LMS自适应算法的基础上,将传统的LMS算法加以改进应用于SISO-VLC系统,提升了算法收敛速度。三、针对单用户场景的MIMO-VLC系统,在LED传输信号需要满足的光强约束的条件下,基于最大化信噪比给出了发射预编码矩阵与接收端均衡矩阵的联合优化问题;并通过预编码矩阵和均衡矩阵逐次迭代的方法,提出了该联合优化问题的求解方法。仿真结果表明,根据该优化方法所得到的收发机在误码率性能上具有显著优势。四、针对多用户MIMO-VLC系统中,各个用户之间存在干扰的问题,将每个用户上的信漏噪比作为优化对象,结合所提出的光功率约束的条件,对于发射端的预编码矩阵和接收端的均衡矩阵进行了优化设计。仿真结果表明,根据上述方案设计的收发机在误码率性能上更具优势。