基于深度强化学习的缓存预取技术研究

来源 :龚慧媛 | 被引量 : 0次 | 上传用户:xuzhijiazhz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
预取作为常见的片外存储器延迟隐藏技术之一,可以有效缓解“内存墙”问题。传统预取器通过学习存储器访问模式来预测将要访问的数据。然而,数据组织方式的复杂导致存储器的访问呈现出不规则的特点,且多核系统的使用也令访问模式难以辨别,这些都使得传统预取器的精准预测变得困难。为此,具有复杂问题建模和强大学习能力的机器学习方法被用于设计预取器。但现有基于机器学习的预取器只专注于地址预测的准确性,而忽略了调整激进程度的重要性。若不对预取激进程度进行合理调整,则无法在缓存污染和性能收益之间获取有效的平衡,影响缓存性能的进一步提升。针对上述问题,提出了一种基于性能感知和分支决斗的动态预取模型DPAD(Dynamic Prefetching Model Based on Performance-Aware and Branch Dueling)。首先,使用深度强化学习来对预取器建模,提取访问请求的特征作为分支决斗智能体的输入,并将地址增量与预取度作为动作输出。通过地址增量和预取度生成预取请求,作为智能体的预取决策。然后设计了一种基于过滤器的预取收益计算方法。对于每个预取决策,该方法根据预取的效果与预取的收益计算奖励值,来评估当前系统环境下预取决策的质量,并将奖励分配给智能体以优化其地址预测和激进程度调整的策略。此外,为了降低预取带来的缓存污染,提出了一种基于保护段的预取感知缓存替换策略,通过区分预取数据与按需请求数据,在缓存更新时对这两类数据使用不同方案,并基于重用距离设置保护段,以避免预取数据驱逐保护段内的数据。使用ChampSim模拟器在SPEC CPU2006、SPEC CPU2017、PARSEC、Ligra、Cloudsuite五种不同类型的工作负载上进行测试,将DPAD与当前先进的四个预取器Bingo、MLOP、Pythia、DSPatch对比。实验结果表明,DPAD在十二核系统上的性能比DSPacth和Pythia分别高出18.7%和3.5%,在最后一级缓存为4MB时性能比DSPacth和Pythia分别高10.8%和5.2%,在不同内存带宽下也始终保持着性能优势。
其他文献
随着大数据技术的高速发展,越来越多的应用需要高吞吐、低延迟的缓存存储系统支持——通常由内存键值存储系统构成,比如被大量企业所采用的Memcached。但是,在类似Memcached的分布式内存存储集群中,节点故障或网络拥塞频发,导致数据在内存集群中可靠性不足。这使得系统不得不频繁访问后台磁盘节点,从而导致存储服务性能的降低。因此,内存键值存储系统的高可靠性保障对存储系统整体性能起到关键作用。相较于
学位
互联网时代,生活节奏加快,在线浏览与碎片化阅读成为人们日常获取信息的主要渠道之一。然而,当前大数据背景下的海量信息无法满足用户快速获取高质量、高价值信息的需求,因此文章推荐系统应运而生。本论文通过对在线教育平台业务进行大数据统计分析和信息搜集,设计并实现了一个文章推荐系统:基于个性化推荐技术对拟推荐结果进行分类排序,从而得出用户兴趣偏好,最终把推荐结果推送给相应用户。在推荐系统中,当用户以及推荐物
学位
近年来,容器云平台迎来了高速增长,但由于容器是操作系统层的虚拟化,隔离性远不如虚拟机,使得多租户的容器云平台面临着资源安全的巨大挑战。资源度量数据(如CPU使用率、内存使用率、磁盘I/O吞吐和网络I/O吞吐)能够反映宿主机和容器的资源使用情况,对其进行异常检测是保障容器云平台资源安全的重要手段。针对当前异常检测算法存在着难以挖掘周期特性、对噪声误检高等问题,提出了基于奇异谱变换和局部异常因子的异常
学位
随着云计算的发展,越来越多的云服务提供商选择使用轻量高效的容器技术,来代替性能开销较大的虚拟机技术。为方便管理云环境中容器间的网络通信,容器Overlay网络模型被广泛使用,通过封装数据包的方式在物理链路上提供一层虚拟网络,避免了对宿主机网络的复杂配置,成为跨节点容器间的主流通信方式。然而,现有网络流量控制机制无法识别被Overlay网络模型封装的容器数据包,使得容器平台无法像控制计算资源和内存资
学位
In the field of energy industry,PLC(programmable controller)industrial control technology is a key technology.It is the core technology to control the automatic and efficient operation of business.The
学位
近年来,随着5G通讯、物联网、人工智能等技术的迅猛发展,各类数据每年呈指数型增长,其中80%的数据都会转变为冷数据保存。如何将海量的冷数据以安全稳定、绿色节能、低成本的方式进行长期保存成为数据中心所面临的日益严峻的问题。均匀介质体存储(Homogeneous Medium Volume Optical Data Storage,HMV-ODS)具有在标准蓝光光盘大小的盘片中廉价安全存储数十、甚至上
学位
商业化新型非易失性内存(Non-Volatile Memory,NVM)产品的出现为实现大容量持久缓存提供了良好的机遇。在大容量持久缓存中,索引结构是决定缓存访问性能的关键因素。另一方面,持久化存储可避免缓存冷启动问题,但需要提供数据一致性保障机制,避免因意外宕机造成缓存数据不一致。因此,如何设计高效的索引结构并提供低开销的数据一致性保障机制成为构建大容量持久缓存的重要挑战。针对上述挑战,结合NV
学位
远程直接内存访问(Remote Direct Memory Access,RDMA)技术的出现为构建高速分布式存储系统提供了新的可能,但是RDMA区别于传统以太网的通信特点,促使分布式系统需要重新考虑通信模块的线程架构以及数据传输方式。现有的分布式块存储系统传输过程中线程切换和锁争用开销巨大,针对这一问题提出贯穿式通信模型,一个线程贯穿整个RDMA传输周期,避免多线程通信时线程切换和锁争用开销。目
学位
近些年来,随着全球数据产生量的爆发式增长,上层应用对底层存储的要求越来越高。与此同时,出现了一系列存储介质、存储协议、网络通信等方面的新兴技术。基于光纤的非易失性内存接口规范(Non-Volatile Memory Express over Fabrics,NVMeo F)扩展了非易失性内存接口规范(Non-Volatile Memory Express,NVMe)语义,广泛应用于分布式存储的高速
学位
分布式数据库凭借其良好的写性能和扩展能力在大数据场景得到了广泛应用,基于日志结构合并树(Log-Structured-Merge Tree,LSM-Tree)的键值存储系统是数据库中最为常见的单机存储引擎。当有热点访问或节点伸缩时,分布式数据库各节点间以数据分片为单位进行数据迁移,而这通常会改变LSM-Tree按比例逐层放大的稳定树形结构。为保持结构稳定,LSM-Tree必须在后台频繁执行合并操作
学位