由于卫星和地面移动通信系统的固有特点,单纯依靠某一种系统难以满足人们的通信需求。因此,提出了将卫星通信系统与地面通信系统结合的星地一体化网络。数字视频广播-卫星业务到手持终端(Digital Video Broadcasting-Satellite services to Handhelds,DVB-SH)系统是星地一体化网络成功应用的场景之一。但由于卫星通信对视距信道的依赖和实际通信环境的不理想,需要引入中继节点实现高服务质量的通信。而星地一体化双向中继通信系统存在固有特性,使得其应用存在困难。因此,需要针对其特性设计高效的传输方案,提高系统的吞吐率、降低误码率,实现满足用户需求的高速率高质量通信。论文首先分析了课题背景以及在星地一体化网络中使用双向中继技术的意义,结合国内外研究现状分析了当前星地一体化双向中继网络的发展以及未来的研究方向。然后研究了星地一体化网络的体系架构,建立了星地一体化双向中继通信系统模型和基于马尔科夫链的星地链路信道模型,并根据星地一体化通信的特点,分析了实际通信中会出现的四种信道非对称情况。其次针对星地一体化双向中继网络中路径损耗较大、上下行信道条件不对称、上下行传输数据量不对称的特性,提出三种将多入多出(Multiple-Input Multiple-Output,MIMO)技术与网络编码结合的传输协议。首先,针对星地一体化双向中继系统信道衰落大的问题,提出将网络编码(network coding,NC)与MIMO技术结合,建立MIMO-NC协议模型并仿真分析其在对称信道和非对称信道模型下的误码性能。针对MIMO-NC协议模型在非对称信道模型下误码性能较差的问题,提出将联合正交物理层网络编码(Combined orthogonal physical-layer network coding,COPNC)与MIMO技术结合,建立MIMO-COPNC协议模型并仿真分析其在非对称信道模型下的性能。为了解决COPNC同步要求高以及星地一体化双向中继系统信息传输需求不对称的问题,建立MIMO与复数域网络编码结合的传输协议并仿真分析其误码性能。本文提出的三种协议针对星地一体化双向中继网络的特性,有效提高了网络的传输性能。