基于强化学习的认知无线电动态频谱分配研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:teamster
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
强化学习技术从控制理论、统计学、心理学等相关学科发展而来,被认为是设计智能系统的核心技术之一。它对环境知识要求较少,对动态变化环境适应性强,应用于无线网络时兼容性较好,这些特点都使得强化学习与生俱来地成为认知无线电的备选技术,并且具有广泛的应用前景。   本文将强化学习中一个典型的模型,部分感知马尔可夫决策过程(PartiallyObservable Markov Decision Process,POMDP)应用到Ad Hoe机会式频谱接入(Opportunistic Spectrum Access,OSA)网络中研究认知用户频谱感知与接入算法,使其具有较强的学习能力,从而通过认知循环(Cognitive Cycle,CC)高效机会式地接入授权频谱。   然而OSA网络面临的诸多挑战,给我们的研究提出了以下具体的问题,首先在实际情况中,由于硬件的限制及能量的消耗,尤其是伴随突发性业务的认知用户不可能完全感知所有信道的信息,因此我们需要解决部分感知问题;第二,频谱感知接入策略应当同时具备机会识别和探索的能力;第三,如何在面临感知错误时,将对授权用户的干扰限制在一个指定的水平并最大化认知用户吞吐量;第四,频谱机会需要收发端联合识别,当有感知错误时,收发器能够同时跳频。针对上述研究问题,本文利用强化学习中一个典型模型POMDP,设计了减少状态量的基于信念向量的贪心策略算法,将感知与接入联合考虑,并将其应用于完美感知和不完美感知接入两种场景,详细地分类验证了其策略算法的性能;在最后提出了减少状态量的POMDP分布式协作感知接入策略算法;仿真结果表明,本论文的工作达到了预期的研究目标,这些算法能够最大化认知用户吞吐量及系统频谱利用率。
其他文献
随着移动网络的快速发展和智能手机的不断普及,移动互联网的用户规模与日剧增,各类业务应用也层出不穷。移动互联网正逐渐成为人们使用各类网络业务和应用的重要手段。研究和分
IEEE802.15.5标准为低速率无线个域网提供了具有更好扩展性和稳定性的Mesh结构,同时保证了低功耗、低成本的特性,但该标准LR-WPAN Mesh部分的地址分配算法在地址分配控制开销和
近年来,随着移动互联网的发展和移动智能终端的普及,移动智能终端逐渐具有了更方便快捷的网络接入途径和更强大的计算能力,移动设备也出现于人们生活中的各个方面。然而在其
无线传感器网络(wireless sensor network,WSN)由大量带有通信模块和计算单元的微型传感器节点组成。节点间以无线通信方式相连接,通过自组织的方式构成网络,协同地感知、处理网
网络编码是融合了路由和编码的信息交换技术,其核心思想是突破传统网络中只允许中继节点转发数据的限制,允许网络中继节点对收到的数据进行组合、编码等智能化处理之后再转发出
机会网络是一种在网络节点之间不一定存在完整端到端路径的无线自组织网络,具有网络拓扑分割及变化较快等特点,网络中节点之间通过节点移动带来的相遇机会进行通信,并以“存储-
随着我国经济快速发展,城市交通发展显著,私家车数目不断增加,目前交通拥堵、环境污染等问题已成为备受关注的社会焦点,研究新一代智能交通系统成为改善交通现状的关键工作。基于
LTE是3GPP长期演进项目,作为新一代的无线通信系统具有更高的传输速率和更好的传输质量。LTE采用了先进的OFDM技术和MIMO技术来提高系统的各项性能,信道估计是OFDM系统的关键技