正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)技术具有较强的抗频率选择性衰落能力以及较高的频谱利用率,但同时也存在不足之处,比如,系统峰均功率比(Peak to Average Power Ratio,PAPR)较高以及对频偏敏感等问题。针对OFDM系统的不足学者们提出很多解决方案,本文针对其中基于索引调制的OFDM(Subcarrier Index Modulation OFDM,SIM-OFDM)技术和基于分数阶傅里叶变换的OFDM(Fractional Fourier Transform OFDM,FrFT-OFDM)技术展开研究。SIM-OFDM系统由于载波的稀疏性使其具有较低的峰均功率比和误码率(Bit Error Rate,BER),但当每个子块中激活较多的子载波时,仍存在多个连续被激活的子载波之间产生载波间干扰(Inter Carrier Interference,ICI)的问题。在FrFT-OFDM系统中,由于FrFT的灵活性使其具有较强的抗ICI性能,但是却难以避免系统较高的峰均功率比。针对上述问题,以提高系统的误码率和峰均功率比性能为研究目标,本文的研究工作分为以下三个部分。首先,为结合SIM-OFDM和FrFT-OFDM技术的优点并规避二者的不足,本文提出了SIM-FrFT-OFDM系统,建立了其数学模型。在此基础上,分析了SIM-FrFT-OFDM系统的误码率性能、抗载波间干扰性能、频谱效率以及最优变换阶次的选取,并与传统SIM-OFDM和FrFT-OFDM系统的性能进行了对比。其次,为进一步提高SIM-FrFT-OFDM系统的误码率性能,本文改进了传统的索引映射方式,详细介绍了算法的改进原理,并通过仿真与传统映射方式对比验证改进后算法性能。此外,以能量检测为基础,理论分析了在高斯白噪声信道下的索引信息检测概率并通过仿真验证理论分析的准确性。最后,为了进一步降低SIM-FrFT-OFDM系统的峰均功率比,本文对传统的降低多载波系统峰均功率比的预留子载波算法提出改进。使改进后的预留子载波算法能够更加充分利用SIM-FrFT-OFDM系统的特点,在未损失系统频谱效率和误码率的前提下使系统的峰均功率比性能得到进一步改善,本文详细的给出改进后的预留子载波算法的原理,并通过仿真验证改进后的算法性能。