网络编码(Network Coding, NC)的核心思想是网络中中间节点将多个数据流进行线性或非线性变换后向下游节点转发,目的节点基于已知信息,通过适当的运算还原出原始信息。理论和实验仿真证明网络编码技术应用在有线网络上可以提高系统资源效率、提升网络吞吐量,达到理论的传输容量上界。网络编码在无线通信中的一个典型应用场景是双向中继信道(Two-Way Relay Channel, TWRC)。利用无线信道的广播传输特性,网络编码技术可以显著提高双向中继系统的频谱效率。压缩感知(Compressive Sensing, CS)理论是从信号稀疏分解和逼近理论发展而来的一种新的理论。其思想是对稀疏信号以远低于奈奎斯特速率进行全局观测而非局部采样,然后用适当的重构算法从观测值中还原出原始信号。基于压缩感知的无线稀疏信道估计,相比传统信道估计方法,可大大提高信道估计的可靠度,并降低导频开销。本文以双向中继信道为主要模型,对无线协作通信中的信息传输,信道估计和物理层安全问题进行了分析和研究。论文的主要内容如下：第一,对不对称双向中继传输进行了研究。首先,基于物理层网络编码提出一种不对称调制的方法,实现双向中继信道不对称速率传输。进而提出一种称为子集编码的方法,分别采用线性分组码和卷积码,将调制、物理层网络编码、信道编码进行联合设计。在提高系统有效性的同时,保证系统的可靠性。第二,利用压缩感知技术对基于放大转发协议的双向中继信道进行信道估计。首先对级联卷积信道的稀疏特性进行分析。然后通过合理地设计导频,将合成级联卷积信道分解成两个独立的级联卷积信道。最后,采用一种改进的正交匹配追踪算法对信道进行估计,以提高信道估计的准确性和有效性。第三,研究双向中继信道的物理层安全问题。首先,利用时分系统无线多径信道的互易性和卷积运算的交换律提取密钥,提出一种基于多径相对幅度和多径相对相位的密钥生成方案,以克服需要预先分配密钥的问题,保证物理层通信的安全。然后,提出一种通过对导频进行随机放置来保证物理层安全通信的方法,以解决无线通信中第三方窃听的问题。