基于强化学习的动态频谱分配算法的研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:xhhb925
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
认知无线电的智能核心在认知引擎中,认知引擎执行在通信系统重构中必须的模拟、学习、最优化过程。认知引擎必须具备学习能力,是认知无线电区别于传统无线电的关键部件。本文主要研究的便是将强化学习引入到认知用户动态接入授权用户网络的动态频谱接入问题中,使认知用户具备一定的智能,使认知引擎具备学习推理能力。本文介绍了强化学习的基本原理,描述了几种比较常用的强化学习算法,并且对多智能体强化学习理论进行了比较详细的介绍,为接下来的研究打好了理论基础。本文将频点的信噪比考虑到认知用户的奖赏函数中,提出了一种改进的DAQL算法,并且将该算法引入到有授权用户存在环境下的动态频谱接入的问题中,使认知用户具备一定的智能,实现了降低系统冲突概率,同时提高系统的平均容量的目标。仿真证明了该方案的有效性。本文重点研究了多用户动态频谱接入的问题,在认知用户独立学习的基础上提出一种基于分布式独立学习的多用户动态频谱接入算法。该算法中每个认知用户都是一个基于独立学习的智能体,它不知道在联合行动中其他认知用户的行动策略,仅维护自己的一个关于状态-行动对的Q值表,并且每个认知用户各自采取独立的迭代过程。同时将各个用户频点的信噪比引入到奖赏函数r中,在降低系统冲突概率的同时,提高了系统的平均容量。仿真结果表明该算法可以降低冲突概率,在考虑频点信噪比的情况下,系统的平均容量可以得到提高。为了加快学习速率,使系统能够拥有更好的收敛速度,本文将黑板模型、融合算法以及强化学习技术相结合,提出了一种基于协作学习的多用户动态频谱接入算法。其中,黑板是一块共享的存储区域,可以实现信息共享,融合算法用来对共享信息进行融合,强化学习技术利用融合结果进行动作选择。仿真验证了其学习速率和收敛速度明显优于基于分布式独立学习的多用户频谱接入算法,能够适应认知无线电对学习算法的要求。
其他文献
近年来伴随着高速度硬件平台快速更迭,与嵌入式操作系统层出不穷的更新换代。使得移动终端平台作为一个新的研究领域,引起了广大科研人员和设备厂商的兴趣。而Android嵌入式操作系统以其开源性,和拓展性强的特点,被广大开发者所使用用于智能终端的二次开发。众所周知,当今GPS定位导航技术已经成熟地应用于移动电话操作系统当中。本文利用了Android应用良好的可移植性,研究并设计了基于高德地图定位导航服务的
近年来,交通道路建设发展日新月异,但交通信息化建设却相对落后。现今支撑智能交通系统(ITS)应用的通信网络主要依靠基于有线骨干通信网络构建,无论是专用的交通道路监控系统
21世纪是全球信息化的时代,信息不仅涉及个人隐私或商业机密,甚至涉及国家安全。近年来出现了许多信息窃取和恶意攻击事件,因此信息的安全显得越来越重要。数字彩色图像是一
近年来,随着频谱的竞争不断升温,使得认知无线电技术(CR: Cognitive Radio)已经成为当前的研究热点。一个认知无线电网络由众多次用户通过动态频谱接入的方法,与主用户共存于
水下合作目标定位系统作为一种应用成熟、简单有效的系统被普遍采用。随着水下运载平台不断向智能化发展,频段的利用越来越广泛,合作声源的频率也应随之改变,同时,为了获得更
随着宽带无线网络的发展以及对因特网上多媒体应用需求的增加,对于无线视频业务的需求也越来越大,视频流在无线网络中传输的一些关键技术也得到了很大的发展。本文提出了两种多
在大脑磁共振成像(Magnetic Resonance Imaging, MRI)图像中,脑组织的轮廓非常复杂和不规则,且样本数目有限,不适合使用传统的基于经验风险最小化的分割方法。而支持向量机(S
AKA机制是由因特网工程任务组(IETF)制定、并被3GPP应用于3G无线网络的鉴权机制。IMS的鉴权机制沿用了这种机制的原理和核心算法,故称之为IMS AKA机制。用户在接入IMS网络的
学位
节能是当前社会各个领域内人们共同关注的热点问题,性能、成本和能源已成为通信网规划设计中的主要考虑因素。基于节能目的的绿色通信网技术在无线领域已经比较成熟,有线领域
多媒体和网络技术的不断发展,在有限的空间和带宽资源下需要存储、传输更多的图像,且能够根据用户的实际需要,提供不同分辨率或不同质量的重构图像。基于感兴趣区域的编码技