基于MapReduce的多主页服务框架研究与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:yun_breakcode
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的飞速发展以及云存储技术的不断完善,大规模数据的处理机制也发生了巨大的变化。面对在互联网应用中每天产生的大规模数据,本中心提出了面向双边资源整合服务模式(BIRIS),并引入了第四方服务平台—BIRIS-Cloud。本文基于此平台,提出了一种多主页服务框架,该框架基于Hadoop框架的MapReduce编程模型,面对BIRIS-Cloud平台下的若干个服务中心提供服务。在此框架的支持下,该系统支持对来自不同的服务中心的大规模数据进行组织、存储以及访问,为服务中心的用户提供了更好的服务。通过阅读大量文献,对大规模数据的组织进行了研究。该平台采用开源框架Hadoop下的HDFS作为大规模数据的存储系统。并在此存储系统的基础上,对存储在其中的大规模数据完成索引的建立,把索引文件也存储在各个节点上,可以实现对于索引的并发查找。通过结合多主页服务框架以及存储的大规模数据的特点,本文对系统的需求进行了分析。多主页服务框架旨在为不同的服务中心提供主页服务,通过对主页框架下的主页模型进行定义,以及解析的形式使多主页服务框架的作用得到更好的呈现,用户通过订阅主页模型的形式来使这种服务形式得到最终实现。对大规模非结构化数据在进行存储时采取的机制也进行了研究,并提出了相应的策略,使不同的存储个体的大规模的数据的存储需求都能得到较好的满足。大规模数据如何进行访问一直是研究的热点。针对数据在HDFS上的存储形式,本系统采用倒排索引的机制来实现对所需的数据建立索引,并在倒排索引的基础上完成二级索引的建立,最终实现在大规模数据中对所需数据的定位。最后完成了多主页服务框架的搭建,并在此框架的基础上,实现了对大规模数据的有效管理,把所研究的理论以及关键技术应用到此框架及大规模数据的管理下。框架搭建完成后,利用框架上聚集的主页模型来为不同的服务中心提供服务,并在此基础上不断完善服务机制,使框架的运行更趋完善,也使框架的使用价值得到很好地体现。
其他文献
风力发电作为发展最快的新型清洁能源带动了风电技术的发展和广泛应用并促使风电机组的规模不断扩大,由此产生的数据规模也随之扩大。在风电机组处于工作状态时,其中的部件如齿轮箱、轴承等出现松动、磨损、异常等都会产生大量的振动数据,难以满足对海量数据整理、分析、存储需求,而且由于风电机的发电系统和监控设备的多样性,各类设备都产生不同的数据格式或数据类型,大都以数据流的形式输出。因此诸如Hadoop等云计算平
随着动画产业的飞速发展,动画角色往往需要极具个性、夸张等特点的风格化运动。然而,传统的运动捕捉技术仅能采集人体的真实运动,难以满足角色动画的风格化需求。目前,风格化运动
本文首先讨论了压缩传感或压缩感知(CS—compressive sensing/compressed sensing)理论技术中涉及到的内容,有常用的测量矩阵、变换空间中的稀疏表示和常用的图像重建算法;然
女书是世界上独一无二的女性专用文字,它主要依靠手工书写的方式,通过母传女,老传少,一代代传承下来。随着女书传人的相继去世,女书的处境十分艰难,亟待信息化保护。脱机女书字符识
风力发电是我国能源结构改革的重点项目,新能源产业重要的组成部分之一,受到国家经济战略层面的高度重视,在风电产业的发展过程中,由于风力发电项目采取大面积、大批量进批复、核准、投产,实施过程中带来了一系列问题:一是不同地区的风电场对机组规格、机组机型有特定的要求;二是行业标准没有得到细化和完善,风机监控系统通讯协议大都是由风机生产厂家自行规定;造成风力发电分系统各自独立,管理上不能有效整合为大系统统一
智能电网中部署了各种监控系统和高级监测体系,设备中获取与传输的各类数据发生着指数级的增长,整个电网随时都在产生海量的重要数据被收集到远程终端并对它们进行统一管理,大量数据频繁采集、传输带来网络堵塞的同时更对电网通信的实时性、准确性及安全性提出了新要求。云存储系统可以提供海量的存储能力来解决智能电网中的大数据存储问题。随着云计算技术的发展,云安全变得越来越关键。在云计算环境中,用户对放置在云服务器中
爬壁机器人作为一种极限机器人,已经成为当前机器人领域中研究的一个热点,它能代替人工在极限条件下完成多种作业任务,降低了人工作业的难度与风险系数,无论是在军用领域还是
无线传感器网络不同于传统的网络,无线传感器网络通常被部署到恶劣或是特殊的环境中,一般无法实现对其节点进行充电或更换电池,所以如何通过优化节点分布来实现无线传感器网
准确而自动的表达出体数据模型中包含的结构信息是可视化领域尚未完全解决的难题。传统的基于物理光学模型的可视化方法主要试图实现真实感的图像绘制效果,很难突出体数据中感
随着网络信息产业的发展,服务器的工作效率和可靠性的要求越来越高,集群技术和云计算技术随之诞生并开始蓬勃发展,虚拟化技术作为实现云计算的关键技术也越来越被关注。在虚拟化