无线通信技术发展的根本目标是追求尽可能小的差错概率(可靠性)和尽可能大的信道容量(有效性)。正交频分复用(OFDM, Orthogonal Frequency Division Multiplexing)技术具备频谱利用率高、抗干扰能力强和带宽扩展性好等一系列特点,是下一代移动通信系统最具竞争力的关键技术。本论文围绕OFDM技术展开,力图节省系统开销,从整体上优化系统性能,降低计算复杂度,提高系统容量。主要针对OFDM系统的信道估计及系统容量的提高进行了深入的研究。论文首先回顾了移动通信的发展历程,介绍了OFDM系统容量和信道估计技术的发展现状,为接下来的论叙提供了研究背景。通过对无线衰落信道的特性进行分析,详细讨论了移动无线信道的各种传播特性,其中移动无线信道小尺度衰落是讨论的重点,同时讨论了多普勒频移对传输信号的影响。在此基础上,对OFDM系统以及MIMO-OFDM系统模型和系统性能进行了分析与仿真,并就相应系统的参数对性能的影响进行了研究。提出一种改进的基于特定QoS的WF算法,其优点在于更符合实际应用中的要求,而且在实现上并没有增加多少复杂度。WF算法中最优值的实现需要满足许多条件,如自适应的信道编码,自适应的调制以及适当的功率控制等。同时需要调制阶数连续可变,且功率分配也要连续而不能量化,这在实际应用中是很难做到。基于特定QoS的WF算法将分配给各子信道的功率量化,使调制阶数离散化,同时将量化后的剩余功率加到下一个子信道中,在系统保证一定QoS水平的情况下,该算法性能更加接近WF的理想情况。为了在恶劣的信道环境下获得精确的信道估计,对基于极大似然(MLE)的OFDM系统半盲信道估计算法进行了深入研究并做出了改进,采用非均匀间隔导频的排列方式提出一种基于线性最小均方误差(LMMSE)的OFDM系统半盲信道估计算法。以LMMSE算法求信道冲激响应作为迭代的初始值,经数步迭代获得精确的信道冲激响应。为了进一步简化算法的复杂度,本文还提出了基于奇异值分解(SVD)的半盲信道估计算法。本文提出的算法能够以较低的复杂度实现精确的信道估计,仿真验证了该算法的优越性和有效性。论文对两种低复杂度的OFDM自适应盲信道估计算法LMS-Bussgang和ZF-Bussgang算法进行了改进。采用了低复杂度的Bussgang自适应算法,依据均方误差准则和峰值失真准则对OFDM系统子信道进行盲估计；另一方面通过引入差分检测技术,加快了算法收敛速度,克服了Bussgang算法带来的误差传播问题。提出了星型QAM调制星座图的优化方法。以平均能量最小以及最小欧氏距离最大为原则,确定了在衰落信道下OFDM系统中采用准相干解调时,星型QAM调制星座图优化的方法。将OFDM和星型QAM调制解调技术的抗多径衰落能力融合在一起,为进一步挖掘高阶调制解调抗衰落的潜力提供了理论依据。