目前,对于第五代移动通信(the 5th Generation,5G)相关技术的研究正处于关键阶段,后期5G的大规模商用会使万物互联成为可能。毫米波通信,大规模多输入多输出(Multiple Input Multiple Output,MIMO),非正交多址(Non-Orthogonal Multiple Access,NOMA)与无线信息能量同传(Simultaneous Wireless Information and Power Transfer,SWIPT)作为5G的关键技术成为研究的热点。这些技术的结合可以提升系统频谱效率和能量效率,为加快5G的实现提供了可能。以此为背景,为了降低系统复杂度,提升系统整体性能,本文主要从频谱效率和能量效率角度对波束空间下毫米波大规模MIMO-NOMA系统展开研究。首先,利用毫米波波束空间信道的稀疏性,改进波束选择方案,在执行最大幅值的波束选择后继续对波束进行筛选,以实现信道更低维度的降秩,从而使系统在减少射频链路数目的同时保证系统的高性能。然后,用透镜天线代替传统的天线实现模拟波束成形,将信号直接从空间域转化到波束域进行处理,降低了收发机的复杂度。最后,仿真了针对最大幅值的波束选择方案和改进后的波束选择方案在不同的预编码下的波束空间系统性能。仿真结果表明,与基于最大幅值的波束选择方案相比,改进的波束选择方案在保证高频谱效率的同时获得了更高的能量效率。NOMA技术虽然使得接入用户增多,但同时用户共享同一频谱资源也存在很大的干扰。为了消除用户间的干扰,本文采用迫零预编码方案和串行干扰消除技术(Successive Interference Cancellation,SIC)分别消除波束间用户的干扰和波束内用户的干扰。并且在用户密集接入场景下,引入新的用户调度方案。即从所有请求用户中选择合适的用户接入,并对用户进行配对来改善系统性能。与基于最大SINR(Singal to Interference plus Noise Ratio,SINR)的用户调度方案和基于匹配用户速率最大的用户调度方案相比,仿真结果表明,提出的用户调度方案可以获得最高的频谱效率。随后,进一步研究了采用功率分配的NOMA系统,并对用户调度结合功率分配下的系统性能进行仿真分析。仿真结果表明,用户调度结合功率分配的系统性能明显优于直接进行功率分配的系统。为了满足不同接入用户的需求,根据请求接入的用户数判断是否进行调度,仿真结果显示了自适应方案保证了系统频谱效率的稳定性。为了有效地降低5G网络中无线通信设备的能量消耗,在采用用户调度和功率分配的波束空间系统中引入基于功率分割的SWIPT技术。分析了等功率分割对系统容量的影响,并根据强用户少收集能量弱用户多收集能量的原则研究了两种功率分割方案。仿真结果表明,对比等功率分割,这两种方案获得更优的系统性能。然后,为了改善这一分割原则导致的弱用户性能更差的问题,采用了协作中继通信技术。令信道条件好的强用户作为中继转发信号给弱用户,在一定程度上降低中断的概率。仿真结果表明,采用协作中继通信不仅提升了系统容量,而且改善了弱用户速率。