为满足蜂窝网络中呈指数增长的无线数据业务需求,认知家庭基站网络(Cognitive Femtocell Network, CFN)旨在部署低成本易安装可重配置的家庭基站接入点(Femtocell Access Points, FAPs),以自组织方式机会式利用宏蜂窝网络(Macro Cellular Network, MCN)的空闲频谱,从而增强室内覆盖,提高分层蜂窝网络的总系统吞吐量。极化域频谱资源共享为CFN网络和MCN网络的共存提供了全新的自由度,具有提高频谱资源利用率的巨大应用潜力,能够为解决频谱资源紧缺问题带来新的契机。本论文系统阐述了作者在参与国家"863"计划重点项目(频谱资源共享无线通信系统-2009AA011802)、国家自然科学基金项目(极化域频谱感知理论与技术研究-60902047,基于时域频谱利用概率分布曲线拟合的频谱检测研究-60772110)以及国家建设高水平大学公派联合培养博士研究生项目过程中,对CFN网络极化域频谱共享理论以及频谱感知与干扰环境下的资源管理等关键技术进行的深入探讨和一些相关的研究成果。本论文的研究工作从对现有分层蜂窝网络频谱共享技术综述上展开(第2章),主要是在设计CFN网络极化域频谱共享方案的基础上(第3章)对极化域矢量频谱感知(第4章)、基于干扰统计分析的极化域频谱资源管理(第5章)、基于两级资源分割的极化域频谱资源管理(第6章)等关键技术进行了研究。论文的具体研究内容与研究成果如下：1)分析了现有分层蜂窝网络频谱共享技术,重点总结了机会式共信道频谱共享研究中传统CR技术和家庭基站技术的频谱感知与频谱资源管理等关键问题的研究现状,指出了CFN网络频谱共享的优势及所面临的挑战。2)为有效缓解频谱资源供需矛盾,阐述了采用极化域频谱共享的必要性和可行性,提出并设计了基于极化匹配／失配思想的极化域频谱共享方案,并明确了该方案有待解决的频谱感知以及干扰环境下的频谱资源管理等关键问题。3)针对极化域频谱共享中如何感知MCN链路收发极化状态,首先建立基于莱斯信道的无线信道去极化模型来描述其对信号极化状态的调制作用,在此基础上提出了基于虚拟极化的矢量频谱感知算法。该算法采用矢量信号检测技术实现虚拟极化自适应,通过搜索对MCN链路部分极化信号接收信噪比最大的接收极化状态来识别其瞬时极化状态。仿真结果表明,该算法能够充分利用MCN信号的极化矢量信息有效提高频谱感知性能。4)为满足感知MCN链路收发极化状态的实时性要求,针对虚拟极化自适应的搜索复杂度问题,提出了基于K臂赌博机的快速变极化频谱感知算法,将双自由度搜索问题转化为K个1维问题进行求解,并给出了算法收敛时预期收益的上下确界。仿真结果表明,算法能够快速收敛,并高精度识别MCN链路收发极化状态,对频谱感知性能提升显著。5)针对CFN网络跨层/同层干扰抑制问题,提出了基于干扰统计分析的极化域频谱资源管理算法。该算法通过频谱感知进行累积干扰统计分析并估计优化目标函数中的参数,从而减少各层网络之间的实时信息交互,最终各CFN链路以分布式方式实现优化的信道分配与功率控制。仿真结果表明,算法能够快速收敛且在保证CFN网络性能的同时有效地维护MCN网络性能。6)为增强MCN网络小区边缘用户性能,提出了一种基于两级资源分割的极化域频谱资源管理机制,通过调整FAPs禁入区域(Femto Free Zone, FFZ)比例因子和数据速率损失权重因子,实现动态的网络级和链路级资源分割。为减少信令开销,设计了两级资源分割指示信息比特映射方法。仿真结果表明,可实现CFN网络与MCN网络特别是MCN网络边缘用户吞吐量性能的折中。