受自身网络结构的局限,现有蜂窝网络很难满足下一代无线移动网络的高速率、广泛服务以及高速移动等要求。为改善现有蜂窝网络的缺陷,将Ad Hoc网络结构引入蜂窝网络系统形成蜂窝与终端自组织混合网络。在该混合网络中,利用Ad Hoc网络中一跳或多跳通信的优势与蜂窝网络形成互补和共存,可以提高网络整体性能。因此,蜂窝与终端自组织混合网络已成为一种重要的网络结构。在蜂窝与终端自组织混合网络中,终端之间共享蜂窝网络无线资源(正交使用或复用)进行短距离的点对点的直接通信。这种网络结构利用终端直通通信链路的短距离特点和终端广泛分布的有利条件,提供具有灵活适应能力的数据服务,显著提高系统容量；利用终端直通多跳通信的特点,可以拓展无线中继的应用场景,有效改善网络结构、提升覆盖性能,并提高混合网络的系统容量和服务质量。本文主要研究蜂窝与终端自组织混合网络中的关键技术,包括混合网络中终端通信模式选择,辅助蜂窝网络接入的中继终端选择、辅助终端与终端之间直通通信的中继终端位置以及功率控制以及多跳直通通信的路由选择。本文的主要贡献如下：第一,针对三种终端通信方式展开对混合网络中的终端通信模式选择的研究。这三种通信方式分别是蜂窝通信、终端一跳直通通信以及带中继的终端直通通信。文中根据终端直通通信的中断概率,给出使用一跳直通通信的条件,推导了使用带中继终端直通通信的前提条件,并给出了最佳中继终端的选择标准。基于前面的分析,推导了使用带中继终端的直通通信以及蜂窝通信的条件。这一部分研究的主要创新点是：1)推导了混合网络中两个终端无法进行一跳直通的条件,并给出了选择最优中继终端的标准；2)给出了使用带中继终端的直通通信条件。在这个条件下,使用带中继终端的直通通信可以得到比蜂窝通信更大的通信容量。第二,在辅助蜂窝网络接入的中继终端选择的研究中,首先分析了中继终端分别与蜂窝边缘用户以及与基站的通信容量,然后推导了基于干扰受限的中继终端选择标准。之后把最大化混合网络的总吞吐量归结为带权值二分图的最佳匹配问题,并使用KM和贪婪算法作为两种中继选择算法为多个处于边缘的终端选择可用中继。这部分研究的主要创新点是根据辅助边缘终端用户和基站通信这一场景,推导出了可以作为中继终端的选择准则,并利用带权值二分图的最佳匹配问题解决最大化网络吞吐问题。通过KM算法和贪婪算法选择出中继终端,证明了使用中继选择准则的优越性。第三,在蜂窝与终端自组织混合网络中,终端辅助的直通通信的场景中,研究中继终端的最佳位置以及最小发送功率。首先,推导了中继终端复用蜂窝资源时瑞利信道下的遍历容量公式,这是一个用于直通通信复用一个蜂窝上行链路资源时的高信噪比(SNR)和高干噪比(INR)的遍历容量公式。然后,基于这个遍历公式,在终端相对距离已知的条件下给出了最佳中继终端位置的表达式。最后,提出一个遍历的搜索算法来找到最优的中继终端位置以及相应的最小发送功率。这部分研究的创新点是推导出了瑞利信道下的高信噪比高干噪比的遍历信道容量公式,并基于公式推导出了中继终端最佳位置和最小发送功率表达式,最后给出了一个搜索最佳中继位置及其相应发送功率的遍历算法。使用此方法,可以找到终端相对距离已知的最佳中继终端的位置,以及发送终端和中继终端的最小发送功率。第四,对蜂窝与终端自组织混合网络中多跳直通通信的路由进行分析和研究。首先,给出了混合网络下的多跳直通通信的信道模型。在这个场景中,考虑蜂窝通信终端对直通通信终端的干扰范围。基于场景假设和信道模型,分析并计算得到直通通信中断概率的表达式。之后,将得到的中断概率表达式应用到多跳直通路由选择方案中,并给出了两种路由选择方案。通过仿真,对比了两种路由选择方案在信道容量上的性能。