基于模型融合的硬盘故障预测方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:faycbl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据中心的可靠性一直是学术界和工业界研究的热点问题,存储系统的故障会严重影响服务的高可用性。硬盘作为主要的存储设备,突然发生故障可能导致关键数据的永久丢失,给用户和云服务厂商造成巨大损失。近些年研究人员主要采用机器学习技术对硬盘故障进行预测,以此减少故障发生时的运维成本。但由于不同数据中心的硬盘S.M.A.R.T.数据质量有较大差异,并没有哪一种预测模型能够很好地适应所有环境,因此,故障预测系统面对不同复杂场景的鲁棒性有待提升。针对上述问题,提出了一种基于模型融合的硬盘故障预测方法MFDFP(Model Fusion Disk Failure Prediction),包括特征选取、模型融合和剩余使用寿命预测三个部分。其中,特征选取部分,采用一种基于KL散度(Kullback-Leibler divergence)和递归特征消除的特征选择方法,准确地筛选出与硬盘故障强相关的特征,提升故障预测准确率的同时增强可解释性;模型融合部分,选用流行的梯度提升树算法作为训练模型,采用装袋法进行融合,降低样本不平衡问题的影响,并采取贪心策略确定每个模型的最优权重,以达到更优的预测性能;剩余使用寿命预测部分,针对传统建模方式过于简单的问题,以更细粒度的方式划分数据集标签,采用回归分析的方式对硬盘剩余使用寿命建模,通过对预测曲线进行分析,得到硬盘状态恶化的关键时间点,实现对故障的及时响应。实验结果表明,MFDFP相对于随机森林模型F值(F-measure)提升了9.2%~11.4%,误分类开销降低了42.1%~45.4%,存储和迁移开销降低了16.2%~22.7%;相对于CNNLSTM模型F值提升了11.2%~38.7%,误分类开销降低了47.6%~59.7%,存储和迁移开销降低了16.5%~34.9%;MFDFP的特征选择方法相对于常用的秩和检验、皮尔逊系数等方法,在误报率相同情况下,故障检出率提升7.3%~11.7%。
其他文献
随着微型精密机械、微惯性器件等技术的发展,出现了大量异质异构的微型零部件,必须通过微装配技术装配构成各种微机构。传统微装配系统利用显微视觉技术协助完成装配操作,存在观察不便、效率低等问题。采用虚拟现实技术和数字孪生技术实现微装配操作的虚拟化和孪生化,能够降低对操作者的要求,提高装配效率,是微装配技术发展的必然。目前,虚拟微装配系统尚未解决虚拟和物理空间微装配系统的数字孪生问题。主要存在两方面问题:
博物馆是具有社会性和公共性的非营利机构,是进行文化展示和宣传教育的重要场所。民俗文物征集和民俗文化展演属于博物馆工作的范畴。博物馆民俗文物展演思路的更新,民俗文物展演形式的创新,以及新型博物馆理念的实践探索,当前非物质文化遗产保护观念也影响到博物馆展览,从“物”到“人”的活态互动受到广泛重视,因而民俗文物展演的研究具有重要的现实意义。民俗文物展演随着民俗学、博物馆学的发展,呈现出了变化的趋势。从原
环境民事公益诉讼与私益诉讼不同,其保护的是社会公共利益,由于原告与诉讼实体权益并无直接利害关系,因此原告的撤诉需要受到一定程度的限制。最高人民法院《关于审理环境民事公益诉讼案件适用法律若干问题的解释》第26条和第27条对原告诉讼请求全部实现时的撤诉作出了相应的规定,要求法院审查确认原告“诉讼请求全部实现”才能准予撤诉。但是对于如何判断“原告诉讼请求全部实现”,司法解释并未作出具体规定,导致司法实践
罗望子有“东方神树”之称,其中罗望子多糖是目前国内外研究最多且最深入的组分,已在生产中得到广泛应用,而提取多糖后的废料,常被丢弃或是当做肥料使用,大大降低了罗望子的综合利用价值。本文以罗望子种仁提取多糖后的废弃物为原料,进行罗望子种仁球蛋白(Tamarind seed globulin,TSG)的提取,并对TSG的结构和功能特性进行研究,为TSG的开发利用奠定基础。本实验将传统碱溶酸沉法与超声辅助
随着我国在高铁、公路、跨海大桥等基础设施建设方面需求增加,极大促进了我国在桥梁、隧道方向的发展,呈现出许多复杂环境条件下的隧道工程,如隧道群、深埋隧道、浅埋软岩隧道、三高条件隧道等,这些工程对隧道施工安全提出了更高的标准,因此还需进一步完善隧道工程理论,加强技术与装备的研发和创新。本文以“腾讯贵阳七星数据中心”为工程背景,该数据中心在山体内由五条并行特大断面隧道以及一条联络隧道正交而成,五条隧道从
掌握高速公路服务区交通流量情况,可以让高速公路服务区管理人员合理地进行服务区资源的配置,让出行者享受更优质的服务。现有服务区大多都未配置车辆检测设备,无法方便且准确地感知服务区流量参数。因此,如何利用现有高速公路设备获取高速公路服务区交通流量情况,无论是对服务区设施布局还是对服务区服务能力提升都具有重要意义。论文在分析车辆在服务区路段速度分布情况基础上,研究了基于车速划分的车辆驶入服务区判别方法。
强震作用下液化侧向扩展场地很容易发生侧向大位移,砂土的液化侧向流动是造成大量桩基损坏,地面塌陷和上部建筑破坏的主要原因之一。全球各地地震频发,由地震引发的液化侧向扩展问题给世界各地造成了严重的人身危害和经济损失,越来越多的学者关注此类问题,做了大量的桩-土动力相互作用研究,也在寻找处置砂土液化侧向扩展的有效手段。而排水法是一种处置液化场地的有效措施,但以往的柔性碎石桩很难满足现代建筑对承载力的要求
电-气互联系统因其具有高效、灵活等特点,有助于提高能源利用率与供能可靠性,被认为是极具前景的能源供给模式。随着燃气轮机与电转气设备的广泛应用,电力系统与天然气系统之间的耦合程度愈发增强,这使得电力/天然气负荷以及间歇性能源出力等不确定性因素能够对所属子系统产生影响外,还可通过耦合元件传递至另一个子系统,进而给电-气互联系统的安全经济运行带来巨大挑战。因此,有必要针对电-气互联系统的概率最优能量流分
碳点作为一种新型准零维材料,自发现以来,就因其优异的光学性质吸引了大批科研工作者的注意。与其他传统的荧光化学染料相比,碳点的光致发光稳定性更好、激发光谱与发射光谱更加广泛;不仅如此,碳点还具有更低的细胞毒性与优于一般探针的生物相容性,使其在生物成像、荧光传感等领域更具有应用前景。本论文详细介绍了碳点的合成、制备、性质以及应用,制备了氮掺杂碳点并对其进行了详细的表征,并在此基础上通过低温介质阻挡等离
背景和目的:近年来研究表明,H6亚型禽流感病毒在家禽中广泛流行并传播到哺乳动物,甚至偶尔感染人。研究表明,H6、H5、H9在家禽中共流行时,病毒可能在宿主感染过程中发生基因重配进而使病毒的某些基因特性发生改变。其中关键位点的改变促进病毒感染机制进化,导致病毒进而扩大宿主范围、增加与人型SAα-2,6Gal受体结合的几率。目前,H6N2亚型AIV的进化演变、跨种属传播及其基因特征尚未研究清楚。前期我