Hadoop海量数据迁移系统开发及应用

来源 :计算机工程与应用 | 被引量 : 0次 | 上传用户:liu8423824
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前高能物理实验产生的数据量越来越大,利用大数据处理平台Hadoop进行高能物理数据处理时,面临数据迁移的实际需求,而现有迁移工具不支持HDFS与其他文件系统间的数据传输,性能存在明显缺陷。从高能物理数据同步、归档等需求出发,设计和实现了一个通用的海量数据迁移系统,通过扩展HDFS数据访问方式,使用Map-Reduce直接在HDFS数据节点和其他存储系统/介质之间迁移数据。此外,系统设计实现了动态优先级调度模型,进行多任务的动态优先级评定和选取。该系统已经应用于大型高海拔空气簇射观测站(LHAASO)宇宙
其他文献
本文将霍布斯鲍姆((E.Hobsbawm)和朗格(T.Ranger)的发明传统理论(The invention of Tradition)与格尔茨((Geertz,c)的文化解释理论(The interpretation or culture)相结合,解
背景:气管长段损伤的修复一直是气管治疗的重大挑战,组织工程气管脱细胞技术可为气管长段损伤修复提供有效治疗途径。目的:综述组织工程气管中不同脱细胞技术的优缺点及其在
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
在供给侧结构改革背景下,我国上司公司尤其是传统企业转型升级的需求日益强烈,同时伴随着并购市场繁荣的是跨界并购活动的活跃,由于跨界并购多选择传媒、游戏、互联网等采用收益法估值的战略新兴经济产业,并购协议中约定业绩承诺已成为常态,然而监管环境变化带来新的挑战,跨界并购业绩承诺的问题和争议一直存在。在梳理前人研究观点、研究理论和方法的基础上,本文从我国跨界并购市场的现状和业绩承诺的整体情况着手,进而探究
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
知情同意是生命伦理学的基本原则,它被视为保护病人和受试者的有效途径。然而,在生物医学临床和研究实践中,知情同意原则的贯彻未尽如人意,它不能有效地起到保护病人和受试者
随着半导体制造工艺的进步,芯片特征尺寸逐渐进入深亚微米级。片上系统(SoC, System-on-Chip)的传统设计开始面临诸多问题和挑战,包括深亚微米效应、全局同步、片上通信以及
理查德·罗蒂是从分析哲学阵营中走出来的美国实用主义哲学家。他从传统科学哲学的外部对科学展开文化和哲学的反思,侧重于科学的人文研究,因此常被学界误解为“反科学分子”