随着移动互联网的大规模应用和人工智能、机器学习、物联网和虚拟/增强现实等技术的日臻成熟,高密度全覆盖、高速率大容量、低延时高可靠、低功耗广连接的端到端通信需求应运而生,而传统的移动通信系统无法满足新技术、新场景和新应用的要求,因此5G时代正式迎来了曙光。在5G无线通信技术中,认知无线网络频谱共享和非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术吸引了学术界和工业界的广泛关注。认知无线网络频谱共享可实现频谱资源的复用,未授权用户可以机会性地占用授权频段进行数据传输。携能通信(Simultaneous Wireless Information and Power Transfer,SWIPT)技术可以将射频干扰信号转化为能量,结合SWITP的认知无线网络可以提高能量效率,延长网络的生存期限,满足绿色通信的要求。NOMA作为一种新型无线接入技术具有很高的频谱效率。发射端采用叠加编码机制,通过分配不同的功率,线性组合不同用户的信号,并占用整个信道资源广播信号给各用户。为进一步提高频谱和能量效率,满足5G的通信需求,本文研究了 5G场景中高能效和高谱效的通信协议设计。首先讨论了基于携能通信的能量协作的时域频谱共享协议,然后提出了能量和数据协作的时空域频谱共享协议,进一步提高频谱和能量效率,分析了能量或数据协作对占有频谱的主系统和无授权频谱的次系统影响。随后研究了具有高频谱效率的NOMA方案,在不同场景下,提出了基于截短ARQ及最优中继选择的协作NOMA方案,分析关键参数对系统吞吐量影响。论文的主要研究内容包括:1.提出了一种能量协作的时域频谱共享协议。该协议包含三个阶段:第一阶段,次系统发送端(Secondary Transmitter,ST)与主基站(Primary Base Station,PB)共同发送能量信号给主系统用户(Primary User Equipment,UE)充电;第二阶段,UE使用收集的能量发送上行数据给PB;第三阶段,ST接入频谱发送次系统数据。次系统通过给主系统设备提供能量,换取频谱资源实现数据传输。考虑相同时间块上行无线能量传输(Wireless Energy Transfer,WET)与下行无线信息传输(Wireless Information Transfer,WIT)具有相关性,在发射功率的约束下,推导了主系统和次系统的吞吐量。在保障主系统性能条件下优化了 WET和WIT的时间分配系数,使次系统吞吐量最大。2.提出了一种能量-数据协作的时空域频谱共享协议。该协议包含两个阶段:第一阶段,PB发送能量信号给主系统UE,同时SU可以接入主用户频谱传输自己的数据。次系统数据传输导致的干扰可帮助提升UE能量收集效率;第二阶段,UE给PB发送上行数据,同时SU侦听、解调该信号。如果PB错误接收但是SU正确解调主系统的上行信号,那么SU可以作为中继与UE构成虚拟天线阵列,使用Alamouti编码技术在下一时间块共同重传主系统的数据,引入空间分集提高链路的鲁棒性。伴随着SU能量和数据的协作,主系统数据可实现更快更可靠传输,为次系统提供更多的频谱接入机会。考虑到一个时间块内下行WET和上行WIT的信道相关性,我们推导了主次系统的吞吐量。在保障主系统吞吐量约束的同时,最大化次系统吞吐量,优化了 WET和WIT之间的时间分配系数。3.提出了一种基于截短ARQ和中继的NOMA方案。在功率域,源节点使用叠加编码技术同时发送包含两个用户信息的混合信号给中继和目的节点。由于源节点与目的节点之间没有直接路径,中继节点采用连续干扰消除(Success Interference Cancelation,SIC)技术,首先解调并消除自己的信号,随后解调目的节点的信息。如果中继节点错误解调相应信号,随后源节点使用全部功率重传。当目的节点信息被正确恢复时,中继节点转发该信号。如果目的节点错误接收该信号,那么中继节点重传该信号。采用截短ARQ机制,确保了信息传输地可靠性。我们推导了系统吞吐量,揭示了系统参数,比如功率分配系数、速率、距离等对系统性能的影响。仿真结果表明提出方案的系统吞吐量要高于基于截短ARQ的传统中继策略。4.提出了一种基于协作中继选择的NOMA方案,在接入点(Access Point,AP)和U2之间存在一个多中继的协作区域。通信过程分为两个阶段:第一阶段,AP通过线性叠加编码技术合并准备发送给近端用户U1的信号s1和远端用户U2的信号s2,随后AP广播该混合信号。U1和中继将s2当成干扰解调S1。如果中继正确恢复s1,那么从混合信号中消除s1的成分继续解调s2;第二阶段,从能够正确恢复s2的中继里面,选择一个与U2信道状况最好的中继转发s2给U2。当中继转发s2时,未能正确解调s1的U1同时侦听该信号并采用最大比合并(Maximal-Ratio Combining,MRC)技术合并两个阶段来自AP和中继的s2进行解调、消除s2成分,从而继续恢复s1。考虑到U1、中继和U2信号解调状况,推导了系统吞吐量,揭示了系统关键参数的影响。仿真结果表明在较低的能量消耗情况下,所提方案获得了比TDMA方案更高的系统吞吐量。