近年来随着移动多媒体应用的飞速增长,无线频谱资源越发显得稀缺,并且已经成为无线通信网络目前面临的最重要的挑战之一。最近几年非正交多址接入（Non-orthogonal multiple access,NOMA）技术应运而生,相关人员展开的深入研究显示出其具有出众的频谱增强能力,并被普遍认为是第五代（5G）移动通信网络中支持海量物联接入的最具有竞争力的技术。NOMA技术可以使用同一时域、频域或者码域资源同时服务多个用户,各个用户的信号仅在功率域存在差异,因此与传统的正交多址接入（Orthogonal multiple access,OMA）技术相比,NOMA技术可以显著提高频谱效率。根据现有关于NOMA技术的研究进展,本文主要基于具体系统模型,对无线系统中NOMA技术相关的性能分析及优化两个方面展开研究,主要研究成果如下:（1）研究了协作NOMA系统在支持多播业务情形时的性能。本文设计了一个单播和多播混合业务的场景,其中,从多播用户组中选择信道状态最好的用户作为中继,对单播用户的信号进行解码转发。在中继用户支持全双工模式下,本文分析和推导了中继用户的平均可达速率以及单播用户的中断概率的闭式表达式。蒙特卡洛仿真结果和理论推导高度一致,表明本文提出的协作多播应用可以极大改善单播用户的中断性能,且多播用户的容量性能在中继发射功率不高的情况下不会受到影响。（2）研究了一个更加符合实际情况的无线系统,并在无法获得准确信道统计信息的前提条件下,研究了如何最大化NOMA系统下行链路中各个用户的最小可达速率。在基站（Base Station,BS）总功率固定的情况下,建立了最大化用户最小可达速率的优化问题,并通过分析推导卡罗需-库恩-塔克（Karush-Kuhn-Tucker,KKT）条件,得到了最优功率分配系数的闭式解。仿真结果表明,本文提出的NOMA系统中最优功率分配方法可以明显改善信道条件最差的用户的性能,并远优于固定功率分配方法。并且对比分析了存在信道估计误差的情况下与完美信道条件下用户的最小可达速率的差值,验证了在研究中考虑信道估计误差的必要性。