近年来,移动互联网用户数和业务量呈爆炸式增长,不仅推动了4G的快速发展,也对5G以及后5G移动通信系统提出了新的要求。传统的正交多址接入(OMA)已经难以满足未来移动通信中海量用户数据传输的需求,探索新型的多址接入技术迫在眉睫。非正交多址接入(NOMA)允许多个用户共享物理资源,具有提升频谱利用率、实现大规模连接等诸多优点,受到业界广泛关注。因此,本论文将基于因子图结构研究多用户非正交传输模型,对用户叠加图样进行设计与优化。本文介绍了多用户叠加传输系统,提炼了具有一般性的因子图模型。具体研究内容分为三部分。第一,优化信号叠加原模图。本论文首先研究小规模多用户叠加传输系统的优化问题,提出将遗传算法与优化指标相结合,搜索叠加方式最优的因子图结构,使系统传输速率最大,并总结出了最优结构的设计规律。第二,对原模图进行扩展优化。上述优化获得的小规模因子图可被当作原模图,依据平均最小环和环分布两种目标函数对其进行空间耦合扩展,进一步拉长或消除短环,提升系统误码性能,并有助于实现大规模部署。第三,提出基于双层因子图的协作NOMA方案。本文将信源与信宿视为第一层因子图,中继与信宿视为第二层因子图,详细介绍了双层因子图的设计与优化方法,并给出了具体的实现方案,实现系统总传输速率最大化。本论文主要借助互信息和误码率优化和分析多用户叠加传输系统的性能,在AWGN信道和Rayleigh信道下进行仿真,仿真结果验证了本文所提出的各种方案的优越性。