基于深度迁移学习的硬盘故障预测方法研究

来源 :南京航空航天大学 | 被引量 : 0次 | 上传用户:mybose
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于数据量的大规模增长,数据中心的存储规模越来越庞大。硬盘作为主要的存储介质,一旦故障会给用户和企业带来巨大的损失。为了提高存储系统的可靠性,在过去的几十年里,许多机器学习方法被广泛用于硬盘故障预测。然而这些方法通常建立在有足够的标记SMART数据的基础上,而存储系统中通常存在大量的不同型号的硬盘,有些硬盘型号的SMART数据并没有标记,缺乏标记数据的情况下很难训练一个可靠的模型。并且不同硬盘型号的SMART数据分布存在差异,传统的机器学习方法无法训练一个通用的模型。针对以上问题,迁移学习成为一种有效的解决方案。迁移学习可以利用其他硬盘型号有标记的SMART数据(源域)帮助目标硬盘型号无标记的SMART数据(目标域)训练故障预测模型。本文针对单源域和多源域这两种情况研究了两种深度迁移学习方法。针对只有一个硬盘型号的SMART数据可以作为源域的情况,本文提出了一种基于迁移学习和主动学习的硬盘故障预测方法。首先,通过迁移学习减少源域硬盘型号的SMART数据和目标域硬盘型号的SMART数据之间的分布差异,这样就能利用源域中的标记数据训练的故障预测模型对目标域中的硬盘进行故障预测,然后通过主动学习选择目标域中最有价值的硬盘SMART样本进行标记,从而在迁移学习的基础上获得性能提升。实验结果证明了该方法能有效地预测硬盘故障。针对有多个不同硬盘型号的SMART数据可以作为源域的情况,本文提出了一种基于源域选择和多源域迁移学习的硬盘故障预测方法。首先通过一种衡量不同硬盘型号SMART数据的分布距离的方法,选出与目标域分布差异较小的源域。然后通过多源域迁移学习方法将每一对源域与目标域的分布进一步对齐,最后用基于源域的标记数据训练得到的分类器预测目标域数据的标签。实验在真实的硬盘SMART数据集上实施,实验结果表明了该方法的有效性。
其他文献
党建工作对班主任工作有重要的指导作用,同时也成为班主任开展班级管理工作的思想灯塔,对于教育质量的提升、学校整体建设也有重要的推动意义。从一定程度上看,党建工作关系到学生的个人成长,也关系到祖国的未来发展。现阶段小学班主任党建工作过程中还存在很多问题,如教学模式局限、活动形式单一等,从一定程度上影响了班主任工作效果,对党建工作质量的提升也有不利影响。基于此,本文重点论述小学班主任党建工作的实践路径,
期刊
特殊儿童行为问题是特殊教育的重点关注问题,尤其是智力障碍儿童,其行为问题具有普遍性、多样性、个体差异性大等特点。研究发现,智力障碍儿童的行为问题主要由生理缺陷导致,行为问题严重则会对身心健康造成终身影响。目前常用的行为问题干预方法有行为矫正法、社会技能训练法、积极行为支持法,关于智力障碍儿童行为问题改善方法的探究并不多。学界相关的前期研究已经较为一致地肯定了体育运动对特殊儿童的有益影响,据此有理由
学位
突如其来的新冠肺炎(COVID-19)疫情导致全球各类学校大规模停课,疫情使得人类社会第一次全面了解到科技为教育带来的巨大变化,尤其在中国,网络在线教育成为疫情中替代传统教育的新模式。如何把疫情期间被迫匆忙开启的应急举措变为教育改革的契机,把网络在线教育的灵活性、扩展性、可复制性等优势在常态教学中逐步利用起来,实现教育全方位、数字化、全球化的转型发展,是当前亟需解决的重大问题。为积极响应国家号召,
学位
随着社会的发展,我国越来越重视特殊教育师资队伍的建设,并出台了一系列专门针对特殊教育教师的文件,如《关于加强特殊教育教师队伍建设的意见》、《关于进一步扩大特殊教育教师培养规模的通知》、《特殊教育教师专业标准(试行)》等,在数量和质量上对特殊教育教师作了明确的规定,保障了我国特殊教育师资队伍的建设。特殊教育学校是我国特殊儿童接受教育的主要形式之一,特殊教育学校教师在我国特殊教育事业中占据着重要的地位
学位
本文通过对民国时期赣县警局案件的整理与分析,较为深入地考察了蒋经国“新政”在“除旧”方面的具体过程及其成效,勾绘出赣县社会的基本结构,进而揭示出了国民党在赣县统治的困境所在。本文先对“新政”前失序的赣县社会进行分析,再以“新政”时期的警局处理的逃警案、汉奸案、娼案、逃妻案、赌案和烟案为中心进行讨论,以此能长时段的动态考察和短时段的深入分析。首先讨论的是赣县警察与警局,其作为“除旧”权力机构,有十分
学位
随着儿童自我意识的萌芽,儿童同成人一样需要自己的个人空间。家庭中存在一个儿童可去倾诉的、可去发泄的秘密空间,对于该年龄段的儿童就显得举足轻重。儿童视角下的家庭秘密空间与成人视角有所不同,成人对家庭秘密空间的存在存有一定的忽视与误解。儿童是有权利、有能力表达的自我,本研究以儿童视角进行家庭秘密空间的研究,让儿童发声。以此,探寻儿童视角下家庭秘密空间真实样态的特征及理想家庭秘密空间的样貌,探寻儿童在家
学位
随着加密技术的发展和安全攻防技术的升级,网络中加密流量比例越来越高。但加密技术不仅保护了用户的隐私还成了潜藏恶意行为的温床,不法分子经常使用加密算法对其恶意行为加密,加大其发现难度,对网络安全造成威胁。过去的深度包检测技术(DPI)需要对加密数据进行解密才能进行安全分析,不再适用于当前网络环境。目前不解密数据的情况下进行加密恶意流量检测已经取得了一些初步成果,但由于实验条件和真实网络环境存在较大差
学位
由于道路交通违法行为的发生受多种因素的相互影响,且客运企业为了追求利益最大化,管理相对粗放,存在一些不合理的制度,致使驾驶员疏于对交通规则的遵守,这些都会造成客运车辆运营管理及道路安全问题,因此需要通过对客运车辆违法行为分析与预测来改善运输管理与道路安全问题,辅助企业制定相关管理措施。在研究分析交通违法行为的过程中,存在以下几个问题:(1)对于数据收集方面来说,一般获取数据的方式有:APP采集、调
学位
同胞关系作为二孩或多孩家庭中一个重要的系统性因素,其对儿童各方面发展都会产生广泛而深远的影响。本研究主要考察了同胞关系质量对3-6岁幼儿情绪调节能力的影响,并将衡量亲子关系的重要指标亲子依恋作为调节变量进行考察,探究了不同亲子依恋安全性水平下,幼儿同胞关系质量与其情绪调节能力之间的关系。首先,本研究在理论借鉴和文献研究的基础上,通过家长访谈将幼儿情绪调节能力划分为情绪清晰度、情绪自我调节和情绪策略
学位
超算的速度是衡量一个国家科技实力的重要指标。鉴于当前国际形势和国产化的热潮,超算研制和使用生态越来越被重视。曙光E级原型机是我国“十三五”计划中的三台原型系统之一,由中科曙光牵头研制。该系统采用“处理器+加速器”的异构计算架构,CPU采用的是海光(Hygon)x86处理器,加速器采用的是海光深度计算单元(Deep Computing Unit,DCU)。BLAST(Basic Local Alig
学位