论文部分内容阅读
近年来,无人机的应用正在快速增长,包括实时监控,提供无线覆盖,遥感,搜索和救援,货物交付,安全和监视,精确农业以及物联网系统等领域。凭借其易于部署,维护成本低,机动性高和具有良好的视距链路等优点,无人机辅助的高速无线通信有望在未来的通信系统中发挥重要作用。然而,由于无人机有限的能量存储和零星的能量供应,无人机系统的通信性能和运行持续时间从根本上受到机载能量的限制。无线充电技术以电磁波为载体向空间中以非接触的形式发射能量,可被应用于无人机系统中能量的持久供应。因此,为了对无人机系统中的无线充电能量与信息资源进行合理利用,无人机数据传输与能量管理组合优化的研究至关重要。
本文旨在解决无人机数据传输与能量管理组合优化中的一些重要问题。首先,在单基站单信息源物联网系统场景中,系统中所有位置的物联网节点类型相同(单信息源),无人机接收来自物联网节点生成的数据,然后将其携带回远端基站或者远距离传输给远端基站。借助无线充电技术,无人机可以接收来自无线充电器的能量。无人机的目标是通过优化地采取数据传输和充电动作来最小化期望成本。首先将无人机数据传输和能量传输的过程公式化为马尔科夫决策过程(Markov Decision Procession,MDP),然后采用值迭代算法求解MDP模型,得到最优的无人机数据传输与能量管理组合优化策略。最后对基于MDP的优化策略进行了大量的性能评估,实验结果表明MDP策略在无人机的长期期望成本和数据延迟性能方面均优于基准策略。
其次,对上述研究进行扩展,考虑更普及的多基站多信息源物联网系统。系统中不同位置的物联网节点类型不同,每个基站仅处理其感兴趣的节点产生的数据。无人机作为移动中继,在节点和基站之间移动,为多对节点和基站之间提供数据传输服务。本文将无人机能量充电/数据传输问题公式化为马尔科夫决策过程(MDP)。目标是通过最大化无人机的长期期望效益来降低数据总延迟和能量消耗。首先使用值迭代算法求解MDP获取无人机的最佳策略,然后用数学方法分析了值迭代算法的时间复杂度,随着系统中基站和信息源数量的增多,值迭代算法需要的计算资源指数级上升。为避免高昂的计算成本,进一步提出了基于Q-learning算法和DQN算法的优化方法。数值结果表明,在各种场景和参数设置下,三种算法获得的优化策略与基准策略相比具有最优性。
最后,对于时间敏感的物联网应用,本研究引入了用以量化信息新鲜度的通信性能指标——信息年龄(Age ofInformation,AoI)。首先建立并求解一个马尔科夫决策过程模型以获得无人机的信息年龄与能量管理组合优化策略,目标是通过最小化无人机的长期期望成本来降低系统的平均信息年龄和能量消耗。此外,由于信息年龄状态的值是没有上界的,提出一个截断的MDP来限制信息年龄的上界。然后采用值迭代算法求解MDP模型,得到最优策略。实验结果表明提出的MDP策略得到的平均信息年龄低于基准策略。
综上所述,本文研究了无人机辅助的物联网系统中数据传输与能源管理的组合优化问题。无人机辅助系统中信息源和目的地之间的数据传输,采用无线能量充电技术来补充无人机的电池,基于马尔科夫决策过程和深度强化学习的策略作为高效的无人机数据传输与能量管理组合优化方法,可以获得无人机的最优策略,实验结果表明得到的最优策略优于基准策略。
本文旨在解决无人机数据传输与能量管理组合优化中的一些重要问题。首先,在单基站单信息源物联网系统场景中,系统中所有位置的物联网节点类型相同(单信息源),无人机接收来自物联网节点生成的数据,然后将其携带回远端基站或者远距离传输给远端基站。借助无线充电技术,无人机可以接收来自无线充电器的能量。无人机的目标是通过优化地采取数据传输和充电动作来最小化期望成本。首先将无人机数据传输和能量传输的过程公式化为马尔科夫决策过程(Markov Decision Procession,MDP),然后采用值迭代算法求解MDP模型,得到最优的无人机数据传输与能量管理组合优化策略。最后对基于MDP的优化策略进行了大量的性能评估,实验结果表明MDP策略在无人机的长期期望成本和数据延迟性能方面均优于基准策略。
其次,对上述研究进行扩展,考虑更普及的多基站多信息源物联网系统。系统中不同位置的物联网节点类型不同,每个基站仅处理其感兴趣的节点产生的数据。无人机作为移动中继,在节点和基站之间移动,为多对节点和基站之间提供数据传输服务。本文将无人机能量充电/数据传输问题公式化为马尔科夫决策过程(MDP)。目标是通过最大化无人机的长期期望效益来降低数据总延迟和能量消耗。首先使用值迭代算法求解MDP获取无人机的最佳策略,然后用数学方法分析了值迭代算法的时间复杂度,随着系统中基站和信息源数量的增多,值迭代算法需要的计算资源指数级上升。为避免高昂的计算成本,进一步提出了基于Q-learning算法和DQN算法的优化方法。数值结果表明,在各种场景和参数设置下,三种算法获得的优化策略与基准策略相比具有最优性。
最后,对于时间敏感的物联网应用,本研究引入了用以量化信息新鲜度的通信性能指标——信息年龄(Age ofInformation,AoI)。首先建立并求解一个马尔科夫决策过程模型以获得无人机的信息年龄与能量管理组合优化策略,目标是通过最小化无人机的长期期望成本来降低系统的平均信息年龄和能量消耗。此外,由于信息年龄状态的值是没有上界的,提出一个截断的MDP来限制信息年龄的上界。然后采用值迭代算法求解MDP模型,得到最优策略。实验结果表明提出的MDP策略得到的平均信息年龄低于基准策略。
综上所述,本文研究了无人机辅助的物联网系统中数据传输与能源管理的组合优化问题。无人机辅助系统中信息源和目的地之间的数据传输,采用无线能量充电技术来补充无人机的电池,基于马尔科夫决策过程和深度强化学习的策略作为高效的无人机数据传输与能量管理组合优化方法,可以获得无人机的最优策略,实验结果表明得到的最优策略优于基准策略。