论文部分内容阅读
无线传感器网络(WSN)是一种以协作方式感知、采集、传输和处理检测对象信息的网络,其具有小型化、灵活性和低能耗的特点,近年来成为专家学者关注的一个热点。介质接入控制(MAC)协议是确保网络正常工作的关键,控制无线信道资源的分配。许多智能算法已被应用于传感器网络方面以提高网络的性能。智能算法中的强化学习由于其简单且无需环境模型的优势被广泛应用在传感器网络的各个方面。本文针对无线传感器网络中信道接入的特点进行分析与研究,将强化学习理论方法与传感器网络问题相结合,把信道接入问题转化为动态的离散的马尔可夫决策过程。针对传统MAC协议的不足,提出了基于TD学习和模糊平衡器的智能时隙选择算法(Intelligent Slot Selection Algorithm based on TD learning and Fuzzy balancer,TDFISS)与基于Boltzman分布的Q学习的智能时隙选择算法(Boltzman Q-Learning Intelligent Slot Selection Algorithm,BQISS)。算法的创新之处在于利用节点的学习解决信道资源利用问题,在传统的TD Learning和Q学习基础之上,分别引入资格迹、模糊平衡器以及Boltzman分布等改进算法性能,结合无线传感器网络的特点改善学习方法与策略,使传感器节点实现自我学习,自我调度,提高网络的自适应能力与信道利用率。针对两种算法的收敛性进行了理论分析,并证明其在传感器网络的可行性。同时,本文在实物平台上对两种算法进行了测试。测试结果表明,本文提出的TDFISS、BQISS算法与ALOHA-Q协议相比具有更好的收敛速度,与S-MAC协议相比具有良好的可靠性与吞吐量,既体现出传统竞争型MAC协议良好的网络自适应能力,又兼备调度型MAC协议良好的网络性能。其中,BQISS算法在小规模网络中优势明显,收敛速度较快;TDFISS算法更适合应用于大规模网络。