技术创新平台存储系统的冗余容错机制研究

来源 :南京工业大学 | 被引量 : 0次 | 上传用户:gqkhao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
企业、大学以及科研机构等组织之间的产学研合作能够有效加快科学技术成果的产业化、商品化、和国际化。技术创新平台为产学研合作提供了一种新的平台,这种平台能够使各参与方跨越地理障碍,进行全天候的协作创新,将教育、科技和经济结合,形成一个产学研合作的有机体。实现技术创新平台的一个关键是数据存储。在技术创新平台中,来自不同区域的海量数据需要存储,同时平台对数据存储成本以及可用性都有很高的要求。如何保证技术创新平台数据存储的海量跨区域性、低成本且高可用性是平台上产学研活动开展的基础,也是一个亟待解决的重要问题。因此,本文旨在于为技术创新平台提供一套有效的存储方案,并设计相应的冗余容错机制,以此来满足平台的存储需求。考虑到技术创新平台的海量跨区域的数据存储需求,本文引入了HDFS云存储框架来构建技术创新平台的存储系统。然而,当前版本的HDFS使用了完全副本冗余容错机制。这种冗余容错机制通过复制数据得到多个副本,并分别进行存储,以此保证系统的高可用性,但是这种方式增加了系统的冗余,增加了存储成本。因此,本文将纠删码技术引入到新的冗余容错机制设计中。这种新的冗余容错机制对原数据编码形成若干校验码,一旦数据发生丢失,使用校验码就可还原数据,以此保证系统高可用性。与完全副本冗余容错机制相比,这种新机制极大地降低了系统的冗余,减少了存储成本。同时,为了能够为技术创新平台提供低成本且高可用性的数据存储方案,本文在冗余容错机制的设计中加入了成本和可用性的冗余优化机制。首先建立一个双目标优化模型,同时提出了一种基于特征映射神经网络的冗余优化算法,用于搜索关于成本和可用性的最优方案。这种算法和其他多目标算法相比,其并行性、分布性以及低计算复杂度等特点更能适合在云存储环境下的存储优化方案搜索。另外,为了进一步提高算法收敛速度以及求解质量,利用云存储中存在大量主机的特点,对原冗余优化算法进行改进,加入了训练模块和竞争模块,提出了并行特征映射神经网络冗余优化算法。最后对本文提出的冗余优化算法以及冗余容错机制分别进行了测试。实验结果证明,与其他多目标优化算法相比,本文的冗余优化算法在求解质量、收敛性上都有着较好的表现。同时,结果证明,与完全副本冗余容错机制相比,本文提出的新冗余容错机制能够在保证系统高可用性的同时,有效降低系统冗余,减少了系统的存储成本。基于HDFS框架的技术创新平台存储系统能够有效满足平台对海量跨区域数据存储的需求。同时,针对该系统提出的冗余容错机制,经验证能够有效保证系统的高可用性以及降低系统冗余存储成本,能够满足平台数据存储的实际需求。另外,本文在基于特征映射神经网络的冗余优化算法方面的工作也为云存储环境下多目标优化算法的应用做出了有益的探索。
其他文献
目的 探讨腹水透析浓缩原路回输治疗的临床效果,观察不良反应发生情况,最大限度地提高护理安全.方法 用德国Fresenius 机4008B型血透机及尼普洛透析器,以我院2009 年2 月~2011
拳击峰会rn2019年11月16日,上海国际拳击峰会在一号运动中心正式启幕.中国拳击协会、世界拳击理事会、上海市体育局、美国拳击委员会协会、上海市体育总会,上海市拳击协会、
期刊
在为期三天的中、日、泰三国职业搏击大战中,中国拳手最终斩获四个级别的金腰带.rn中国国际文化传播中心执行主席龙宇翔、全国政协港澳台侨委副主任黄兰发、深圳市文化广电旅
期刊
争取机会rn当索尔·阿瓦雷兹先击败IBF160磅级冠军雅各布斯成为中量级三冠王,又跳到175磅级击倒WBO冠军科瓦列夫成为同时手握三个不同级别金腰带的伟大拳王时,所有中量级、超
期刊
目的 探讨窦卵泡计数(AFC)、卵泡刺激激素(FSH)及年龄对不孕症患者卵巢储备功能的预测价值,并分析AFC与FSH的相关性.方法 月经周期第3d 检测受试者血清FSH、雌二醇(E2)水平,
目的 报道利奈唑胺对神经系统的影响和不良反应的发生特点,促进临床合理用药.方法 报道我院静脉注射利奈唑胺致精神异常案例,并通过检索2007~2010 年国内医药期刊报道的相关文
目的 研究干扰素-γ对人胎盘母体来源间充质干细胞(hmPMSCs)免疫调节功能的影响.方法 对人胎盘母体来源间充质干细胞进行10ng/mL IFN-γ诱导处理后,利用q-PCR 和ELISA 分别测
中国有118座资源型城市,经过数十年的开采,而今资源型城市面临资源枯竭,一直作为产业强大后盾的资源逐渐匮乏;一直以来就业问题是困扰我国许多地区的民生问题,就业问题关乎国家和
目的 对针灸温阳益气方治疗气虚质单纯性肥胖症临床疗效进行统计和分析.方法 选取我院2009 年10 月~2011 年10月收治的单纯肥胖的患者122 例,随机分为两组,甲组患者62 例,采用
近年来,我国跨境电商已完成从信息服务到在线交易再到全产业链跨境电商成功转型。阿里巴巴集团推出的全球速卖通,现已发展成为我国最大的跨境电商平台及全球第三大英文网上购