在未来的信息化社会,下一代移动通信网络必须提供高速可靠的通信服务,才能满足人们日益增加的通信需求,因此如何提高频谱效率成了目前研究亟待解决的关键问题之一。本文一方面引入协同编码,通过移动网络各个节点的互相协作,来充分利用系统的空间和频率资源;另一方面引入大规模天线技术,通过大幅度增加基站天线数目,来消除用户间干扰,降低快衰落和小区间干扰的影响。上述新技术的应用,能极大地提升系统的频谱效率,但对系统设计带来了巨大挑战。本文在新算法设计、系统性能分析和参数优化等几方面取得了突破,主要贡献和创新型的研究成果分为以下几个方面:提出了基于联合干扰消除和最大比合并接收机的新型叠加编码方案,推导了系统误比特率的闭式解和上界,验证了算法的有效性。在下行两点协同通信系统中,在传统叠加编码接收机的基础上,将干扰消除的思想引入最大比合并算法,提出了一种新型的联合干扰消除与最大比合并接收机。接下来,给出了该系统误比特率的闭式解和上界。以最小化系统误比特率为目标,优化了叠加编码的功率分配因子。仿真结果验证了理论推导的正确性,并且证明该方案能有效改善小区边缘用户的性能,从而提升系统总体性能。提出了多向中继系统中的二进制网络编码方案,推导了系统误码率和吞吐量,优化了编码矩阵。在多个移动用户通过一个多向中继的协助来完成信息交互的系统中,为了使每个用户均能获得其他用户的信息,提出了二进制网络编码矩阵的一些基本设计准则,并研究了编码矩阵、噪声和衰落对用户的影响。然后,推导了单个用户误码率的闭式解,并推导了系统总体误码率的闭式解和上界。接下来分析了系统的吞吐量,从理论上证明二进制网络编码技术能够提升系统的吞吐量,证明了算法的有效性。为了保证系统的可靠性,以最小化系统总误码率上界为目标,利用有限域数学解决了二进制网络编码矩阵的优化问题。提出了Nakagami-m衰落下空时网络编码的方案,解决了理论性能推导和参数优化这两个关键问题。在多用户多中继单目的端的系统中,在Nakagami-m衰落下,首先利用留数定理先给出了MPSK和MQAM下系统误码率的严格闭式解表达式。为了给工程应用提供参考价值,给出了高信噪比下误码率的近似表达式,并给出了分集增益表达式。接下来,研究了中继数目、中继位置、Nakagami-m衰落系数、功率分配和非正交编码对误码率的影响。另外,非正交编码相比于正交编码,在获得相同分集增益的情况下,能够提供更高的吞吐量。给出了仿真结果,从而验证了理论推导的正确性,并说明系统的可靠性得到了大幅度的提升。提出了考虑大尺度衰落的大规模天线系统方案,首次定量研究了大尺度衰落对系统可达速率的影响。基于完美信道信息和非完美信道信息,首次推导了单个用户的遍历可达速率的近似表达式,并给出了小区总体性能的相应表达式。采用了实际通信环境的典型参数,给出了仿真结果,从而验证了理论推导的正确性,并研究了不同大尺度衰落系数对系统性能的影响。结果说明,在大尺度衰落的影响下,城市环境中的小区间干扰会降低,满足了实际通信需求。提出了大规模天线系统中的分布式天线方案,推导了系统可达速率,优化了天线分布。在任意已知用户和天线分布的情况下,推导了分布式大规模天线系统近似可达速率的闭式解。接着提出了环形分布式天线,给出了该天线分布下单个用户的近似可达速率以及其上界和下界,并在用户均匀随机分布的情况下,给出了小区平均速率近似表达式。基于理论推导结果,以最大化系统可达速率为目标,解决了环形分布式天线半径的优化问题。给出了仿真结果,验证了理论推导的正确性,并证明了相比于集中式大规模天线技术,分布式大规模天线技术能够获得非常可观的吞吐量增益。