由于频谱资源的紧缺，如何提升每赫兹授权频谱可承载的比特速率,已经成为目前高速率数字通信必须解决的核心问题之一。研究高频谱效率的物理层增强技术，对无线和有线通信系统整体性能的提升都具有重要意义。本文针对提高频谱效率的两项核心技术——“多天线传输”和“多载波高阶调制”展开研究。在“多天线传输”方面，分析了多载波异步分层空时码在多径莱斯信道中相对同步分层空时码的性能提升，研究了蜂窝小区中使小区平均频谱效率最大化的分布式多天线位置选择方法，提出了多天线视觉辅助的功率控制方法；在“多载波高阶调制”方面，设计了8.7bps/Hz4096-QAM多载波通信链路，并完成了实验验证。具体包括如下四个创新点：第一，针对LOS信道下传统分层空时码性能恶化的问题，分析了异步多载波分层空时码在多径莱斯信道中的线性检测性能。数值分析和仿真结果表明多载波异步分层空时码能适应多径莱斯信道，且利用低复杂度线性检测方法即可获得系统的最大空间分集度。当采用联合MMSE检测时，相对于同步多载波分层空时码，异步结构在莱斯K因子等于5的两发两收MIMO信道下能带来约4dB的BER性能提升。第二，针对存在同频干扰的多小区环境，研究了分布式发射天线最优位置选择问题。分析了多层同频干扰对蜂窝小区平均频谱效率的影响，给出了使平均频谱效率最大化的分布式发射天线位置优选方法。在具有工程意义的场景假设下，数值分析和仿真结果表明外围第一层同频小区干扰能量决定了分布式天线的最佳位置。在半径1000m的小区中，各天线距离小区中心450m附近时，平均频谱效率达到峰值。第三，针对基于SINR测量-反馈的传统功率控制方法环境适应能力不足的问题，提出了多天线视觉辅助的功率控制。讨论了下一代移动通信系统中如何利用多天线获得视觉信息，提前感知和响应无线环境变化，并进行功率控制的初步思路。当初始信噪比为10dB时，整个功率控制过程中，视觉辅助方法的平均误比特率达到了1.501×105，而传统方法的平均误比特率只有1.128×103。最后，针对4096-QAM多载波传输，设计了8.7bps/Hz4096-QAM多载波通信链路。分析了4096-QAM对OFDM系统频率同步精度的要求，提出一种载波与采样频偏联合纠正的方法，多径块衰落莱斯信道中的数值分析和仿真结果表明，频偏纠正后的BER性能与无频偏情况相比，差异小于1dB；在AWGN信道中，工程样机的BER性能实测结果与定点仿真差异小于2dB。论文工作为多天线多载波高频谱效率传输技术提供了理论和方法支撑，部分成果得到了工程应用。具有较好的理论和实用价值，可应用于下一代宽带数字通信系统。