多域索引调制(Multidomain Index Modulation,MIM)能够利用多域资源的索引传输信息,是近年来提出的一种高性能、低功耗的新型传输方式。本论文以使用空频资源的多域索引调制系统为研究对象,针对未来移动通信不同的链路配置和典型传输场景,从分集增益、信道估计误差和载波间干扰等不同角度,对多域索引调制传输系统进行了理论分析和优化设计。首先,针对利用空频资源的多域索引调制分集增益较低的问题,通过使用联合上界和矩生成函数,获得了分集增益与调制图案之间的关系,得出了分集增益由成对错误图案中具有不同频域索引的误检子载波数目决定的结论。根据此结论,提出了增强分集增益的调制图案设计方法。与传统多域索引调制对单个传输资源进行激活不同,新方法将多个子载波合并为虚拟块,并以虚拟块作为索引和符号映射的基本单元。经误码率仿真验证,所提方法在频率选择性衰落信道下较传统多域索引调制能获得明显的信噪比增益。其次,本文对信道估计误差和限幅噪声影响下的多域索引调制进行了研究。一方面,以最小二乘估计误差模型为基础,推导出了信道估计误差下多域索引调制的误码率理论上界。另一方面,针对使用限幅降低峰均比的多域索引调制系统,设计了低复杂度的基于限幅噪声抵消的信号检测方法。经仿真对比,所提检测方法的性能接近未限幅的理想系统。再次,针对高速移动场景中的子载波间干扰问题,推导获得了干扰影响下多域索引调制误码率上界的理论近似值,并提出了抗干扰的调制图案设计方法。在理论分析中,通过利用多域索引调制的分块特点,将干扰依据来源分为块内和块外干扰两类。对于块外干扰,根据中心极限定理,将其近似为高斯随机变量,避免了计算过程中的高维积分。根据理论分析揭示出的载波间干扰随子载波距离增加而指数下降的特点,通过设计发射图案,避免了相邻子载波被同时激活的情况,降低了干扰强度。仿真结果显示,在不同的移动速度和频谱效率下,所提方法均能获得信噪比增益。最后,针对未来移动通信天线密集布局所带来的空域通路间的强相关性,本文以相关信道模型为基础,推导获得了信道相关系数与多域索引调制误码率的理论联系,从理论上证明了多域索引调制在相关信道下的鲁棒性。此外,针对使用毫米波频段的索引调制系统,本文以高频信道模型为基础,推导出了系统互信息的理论近似表达式,并提出了功率优化分配方案。仿真结果显示,所提方案较平均功率分配可以有效提升系统容量。