近年来，多天线和协作通信技术的研究引起了学术界和产业界的极大关注。多天线技术，即多输入多输出（MIMO）传输技术，能为发射机和/或接收机端配置多根天线的通信系统提供空间复用增益和/或空间分集增益。在某些环境中，移动设备受到体积、复杂度以及功耗因素的制约，无法配置多根天线。此时，协作传输技术可以利用一组单天线终端通过彼此共享天线和其他资源的方式提供分集增益。因此，协作通信系统也可视为广义的MIMO系统。空间调制（SM）和空移键控（SSK）是面向MIMO无线系统的低复杂度空间复用技术。SM/SSK技术的典型特征是将多天线构成空间域，以此作为传输信息的新资源。与单天线系统相比，SM/SSK能够提供更高的频谱效率和更强的鲁棒性。此外，SM/SSK可以避免传统MIMO技术中存在的信道间干扰（ICI）和天线同步（IAS）问题，因而具有更低的系统复杂度。本论文主要研究SM/SSK思想在MIMO和协作通信系统中的应用，设计了面向MIMO系统的空间星座自适应映射机制，提出了面向多中继网络的SSK协作传输策略。具体研究内容归纳如下。提出了面向广义空移键控（GSSK）系统的自适应空域优化技术。GSSK拓展了SSK定义的空间域概念，构成空间星座的不再是各发射天线，而是多根被激活天线的组合。与SSK技术相比，GSSK具有更高的频谱效率。遗憾的是，SSK和GSSK技术都无法获得发射分集。并且，在GSSK的空间星座中普遍存在不携带任何信息的冗余星座点。基于上述观察，本论文提出了一种新颖的自适应映射GSSK（AM-GSSK）技术。该技术根据信道状态信息（CSI）对包含冗余的空间星座进行优化筛选，并由此降低系统的误码率（SER）。为选取最优的空间星座点，分别提出了空间域全局优化算法和局部优化算法。理论分析表明，AM-GSSK系统能够获得发射分集。提出了面向广义空间调制系统（GSM）的信号－空间域联合优化技术。在GSM系统中，信息比特被分别映射到了信号星座和空间星座。为此，本论文提出了联合优化信号星座和空间星座的自适应联合映射GSM（AJM-GSM）技术。分别给出了全局优化算法和局部优化算法。仿真结果表明，AJM-GSM技术能明显降低GSM系统的SER。本论文将SM/SSK的思想拓展应用于协作通信系统，提出了面向多中继协作网络的协作空移键控（CSSK）传输策略。在CSSK系统中，源节点发送的信息在中继转发阶段映射到了由多个中继节点构成的分布式空间域，并通过空间域传输至目的节点。依据中继节点工作方式的不同，本论文提出了两种不同的CSSK传输模式：解调转发CSSK（DmF-CSSK）模式和解码转发CSSK（DF-CSSK）模式。分别给出了两种不同模式的最优检测算法。此外，针对DF-CSSK模式提出了一种简化的折线近似检测算法。通过理论分析给出了DF-CSSK系统所能获得的分集阶数。最后，进一步通过仿真验证了CSSK系统的性能。理论分析与仿真结果表明，CSSK作为一种面向多中继的低复杂度协作传输技术具有独特的实用优势。