论文部分内容阅读
Ad Hoc网络(MANETs,Mobile Ad Hoc Networks)是一种由无线移动节点组成的具有任意性和临时性网络拓扑的动态自组织网络系统。随着应用领域的不断扩展,要求Ad Hoc网络能够针对不同多媒体业务提供不同的服务质量QoS(Quality of service)。特别是目前日益增多的音频、视频和高实时性的数据业务都对网络传输平均延迟、延迟抖动、优先级划分、带宽分配等提出了更高的要求。本文在总结前人研究工作的基础上,对利用强化学习算法求解移动Ad Hoc网络QoS路由问题进行了系统而深入的研究,主要做了以下三方面工作。1.在分析现有Ad Hoc路由算法链路模型的基础上,针对现有路由算法的链路模型基本为二值模型,也就是链路要么是断开,要么是连接,这种模型不能有效区分是由于拥塞引起的链路失败,还是由于目标不在传输范围内引起的传输失败这一问题,本文将离散链路模型改进为基于统计值的连续链路模型,并结合改进Q学习算法,提出了基于改进统计链路模型的Ad Hoc网络强化学习路由算法SNLQ。根据802.11MAC协议的特点,利用统计度量信息来表示链路的质量,有效解决了强化学习路由算法链路表示问题,也为强化学习算法的动作选择提供更准确的信息。仿真实验表明,该算法可以有效解决拥塞频率和端到端延时,其性能优于AODV与DSR。2.本文通过研究多约束QoS路由的数学模型,结合改进的SARSA强化学习算法,提出了应用SARSA强化学习算法来求解移动Ad Hoc网络中多约束QoS路由问题,并提出相应算法SARSA-R,该算法考虑了链路带宽和延迟两种QoS指标,仿真实验证明了该算法对于解决多约束QoS路由问题具有较好的性能。3.以NS2网络仿真器为仿真平台,设计了一个融合SNLQ和SARSA-R的仿真系统。仿真结果表明,本文提出的算法充分利用了Ad Hoc网络有限的带宽,减少了平均端到端传输延迟,而且接收端视频的主客观质量评价都有了明显提高。