在无线通信系统中,连接可靠性和数据高传输率是重要的性能指标。由于多径衰落、阴影和路径损耗等的干扰,信道质量在时间、频率和空间上将产生随机不确定性,导致无线通信质量下降。目前解决方法是通过收发分集技术,获取分集增益,进而实现可靠高速的无线信号传输。例如,在多输入多输出系统中,无线通信终端通过嵌入多个天线实现空间分集增益。然而,受无线设备大小及成本的限制,在单一终端上安置多个天线的成本很高,无法在实际系统中部署实施。因此,无线通信终端通过与网络中其他节点形成合作分布式的天线系统,通过协作通信(Cooperative Communication),在有效控制成本的前提下实现可靠高速通信。在协作通信网络(Cooperative Communication Networks)中,节点用户通过不同的中继合作技术(Relay-Cooperation Technology),传递转发其他用户的消息。一方面,节点传递转发过程将消耗一定的资源；而另一方面,在无线通信系统中移动设备的能量、带宽、处理能力以及存储容量等资源都是有限的,所以用户出于自身利益考虑,往往只把消息广播给其他用户传递转发,却拒绝中继其他用户的消息。针对该“搭便车”(Free Rider)现象,本文重点研究如何设计中继协议,协调系统内用户的合作行为涌现。以及在资源博弈过程中,在保证高通信质量的前提下,对中继合作过程中的延时和开销进行有效控制,设计一种用户学习更新机制。本文研究内容是未来无线通信网络中可靠性、传输率、吞吐率、通信延时以及能耗等关键指标的基础,具有重要的现实意义。本文主要完成以下几个方面的研究：首先,分析目前的协作通信网络的中继方式、多中继用户所形成的网络结构和如何激励中继合作涌现的机制。针对多中继用户对通信资源具有合作与竞争关系,分析基于复杂网络的演化博弈方法。然后,针对中继协作网络中“搭便车”问题,提出一种基于网格网络的惩罚策略模型。通过引入惩罚策略,惩罚用户将对原先持有反对策略的用户给予一定数量的惩罚值,同时自身也由于会消耗一定数量的通信资源。本文通过蒙特卡罗模拟仿真实验结果表明：当中等程度的资源消耗和超越一定惩罚阀值的情况下,协作通信网络中的中继用户出现合作行为大量涌现,并且可以演化三种策略共存的现象。最后,针对中继节点具有渴望得到一定的预期收益的特征,提出基于复杂网络的渴望学习更新机制。该模型主要强调中继用户在每轮博弈过程中,会比较是否达到确定性渴望收益值,如果超越预期渴望值,中继用户将保持原先的博弈策略；反之,节点会以一定概率选择邻居策略。通过模拟实验可以得出,中间范围的渴望值(A)会明显影响协作通信网络的中继合作率；当渴望值比较大时,中继合作率随着惩罚值增加而缓慢地增加。