随着大规模接入和高速率服务需求的日益增长,存在天然优势的多播传输已得到研究者们的重点关注,但其广泛应用往往因为频谱利用率仍不能满足日益提升的传输要求而陷入瓶颈。而近年来以非正交多址（Non-orthogonal Multiple Access,NOMA）接入以及层分复用（Layered-division Multiplexing,LDM）为代表的非正交复用技术可以进一步增加用户接入并提升频谱利用率,为广播多播服务带来了新的生机与活力。基于非正交层分复用的广播多播方案主要根据不同层用户的信道状况分配不同的传输资源,并将以非正交方式叠加的层通过串行干扰消除提升频谱利用率,而本文研究的重点就是优化非正交广播多播传输中关键的层间传输资源分配方案,以提升广播多播传输方案的频谱利用效率。为了提升广播多播系统中的频谱利用率,本文首先关注的问题是将内容进行非正交分层传输的传输资源分配问题。本文基于这一问题建立了基于分层传输特性的优化模型,而后介绍了基于简化模型的用户分组双层分配优化算法,并基于此进一步提出适用于多层的功率分配优化算法。接着为了提高算法的实用性并降低算法的复杂度,本文提出了一种基于动态规划的低复杂度传输资源离散优化算法。在仿真结果的分析验证中,将提出算法与传统多播以及其他非正交层分复用功率分配方案进行对比,证明了所提出多层用户分组功率分配算法的有效性;同时也验证了所提出的动态规划算法在复杂度相比于传统算法,能做到将复杂度从(22+-1-2)降低到（（+））,并且相比其他基于用户分组的算法最高能够提升15%的频谱利用率。本文还进一步研究了基于层分复用的非正交广播多播多小区协同传输框架以提高e MBMS（Evolved Multimedia Broadcast Multicast Ser-vice）中MBSFN（Multicast Broadcast Single Frequency Network）模式的传输效率,这一框架将不同覆盖范围的内容通过非正交层分复用进行叠加,并通过多小区协同优化来提升传输效率。为了优化这以框架,本文将非正交层的功率分配结合相位优化,并将问题建模为考虑各子区域公平性的加权最大化最小值（Max-Min,MM）问题。而由于该问题是非凸优化问题,本文首先通过求解松弛后的凸问题来评估框架的性能上限,并通过基于高斯随机的半定松弛算法求得了优化问题的次优解。其次本文为了进一步优化传输效率并减少网络规模扩大带来的半定松弛算法劣化问题,提出了基于约束凹凸过程（Constrained Concave-Convex Procedure,CCCP）的优化方案,并给出了在信道条件恶劣情况下的初始解搜寻方案。最后给出了算法仿真,结果表明在本文大规模网络中,所提出的基于约束凹凸过程的算法相比传统基于高斯随机化的算法能取得5d B的信噪比增益。同时仿真结果也证明了非正交复用的多小区协同传输框架相比传统正交复用多小区传输框架,最高能取得25%增强层频谱利用率提升。