近年来,随着物联网和移动互联网的高速发展,第4代(4G)移动通信逐步向第5代(5G)演进。传统的正交多址接入方式已经难以满足未来移动通信中海量用户数据传输的需求,因此对频谱资源具有高利用率的非正交多址在5G标准化中引起了广泛的关注。在非正交多址中,来自不同用户的数据流按照一定的规则被叠加传输,这使得多用户传输系统具有更高的频谱效率和更强的接入能力。本文研究了基于空间耦合结构的非正交多址技术,在多用户数据传输过程中,利用空间耦合结构对不同数据流进行叠加,可以实现信道资源的共享,提高系统的资源利用率。由于符号叠加,不同数据流之间的干扰不可避免,为了减少干扰提升系统性能,我们以最大化平均互信息为目标,提出三种优化方案:1、基于星座旋转的优化方案。用户数据流在进行标准调制后进行相位旋转。星座旋转使得不同用户的不同数据流在空间上有区分度,能够增加叠加星座图的多样性。在接收端可以利用不同数据流旋转角度的差异进行检测。2、基于功率分配的优化方案。用户数据流在进行标准调制后进行功率分配。功率分配的原则是所有用户总功率保持不变。功率分配也可以增加叠加数据的星座图的多样性,利用功率的区分度可以提升接收端的多用户检测性能。3、基于用户的叠加方式的优化。空间耦合矩阵明确了空间耦合多用户传输系统中不同数据流之间的叠加方式,对用户叠加方式的优化可以通过改变空间耦合矩阵的稀疏程度来实现。同时,本文提出了协作空间耦合多用户传输方案,并通过仿真实现验证其可行性。本文研究的星座旋转和功率分配两种优化方案中,存在多维解的问题,为了降低算法复杂度,我们分别研究了两种搜索算法:坐标上升法和遗传算法,并以这两种方法实现求解。本文借助外信息转移(EXIT)图和误比特率(BER)曲线图分析空间耦合多用户传输系统的性能,仿真结果表明三种优化方式均能在一定程度上提升系统的性能,也验证了协作空间耦合多用户传输系统的可行性。