Hadoop:打开大数据之门的金钥匙

来源 :计算机世界 | 被引量 : 0次 | 上传用户:yangjianwu2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  大数据是眼下很多企业面临的一个挑战,由于数据量非常巨大,而且数据类型异常复杂,传统的基于关系型数据库的存储和分析办法显露出不足。Hadoop的出现给人们带来解决大数据问题的希望,特别是一批著名的大企业,如谷歌、雅虎、JP摩根大通等,成功地利用Hadoop开发出了开源的大数据管理系统,让人们看到了Hadoop在解决大数据难题时的巨大潜力,很多企业纷纷决定引入Hadoop,来解决自己的大数据难题。
  不过,专家提醒,在决定利用Hadoop构建自己的大数据管理系统之前,一定要确保自己充分了解Hadoop。采用Hadoop之前最好先对技术人员进行必要的培训,以确保技术人员具备必要的数据分析专业知识。显然,并不是所有的企业都能成功地开发和部署Hadoop应用的。目前,Hadoop还是一个刚刚起步的市场,有很多厂商提供与Hadoop有关的产品和服务,其中有些是基于云的SaaS服务。
  最重要的是,一定不要盲目跟风,每个企业都有自己的特殊需求,都有自己的技术条件。根据Forrester的市场调查,目前,在美国只有1%的Hadoop项目是真正应用于生产环境中的。“这个数据肯定将在未来一年翻一番或两番。” Forrester分析师吉姆·库贝勒斯(James Kobielus)表示。他呼吁企业要保持谨慎,因为相关的技术还在演进之中,技术更新非常快。
  可以肯定的是,与传统的数据库管理系统相比,Hadoop有自己的优势,尤其是它既能处理关系数据库中的结构化数据,同时也能处理诸如音视频等非结构化数据,而后者在现实世界中普遍存在,要远远比结构化数据更为常见。Hadoop系统还可以根据数据的规模和问题的复杂程度轻松地扩展。
  “Hadoop的应用真正改变了我们对数据的理解和使用方式。” eBay用户体验、搜索和平台副总裁休·威廉姆斯(Hugh Williams)表示。eBay如今拥有的数据量高达9个PB,这些数据既有Terabyte系统所产生的结构化数据,同时也有Hadoop系统产生的非结构化数据。
  “你可以在同样的硬件资源上运行各种不同类型的工作负载。相比而言,在Hadoop之前我们使用硬件资源的方式太呆板、太不灵活了。”威廉姆斯说,“如今,你能以一种与过去完全不同的方式来充分发挥集群的计算能力。这将大大降低公司创新的门槛,从而有助于组织的创新。Hadoop功能太强了。”
  随需求增长自由扩展
  位于美国佐治亚州德卢斯市的Concurrent公司是较早采用Hadoop的公司之一。这个公司对外销售流媒体系统。同时,它还替客户保存和分析大量的视频数据。为了更好地应对待处理数据量的不断增长,两年前Concurrent采用了Cloudera公司的Hadoop CDH系统。
  “Hadoop是我们解决大数据难题必不可少的工具,借助它我们在很短的时间内就能完成海量数据的处理。”Concurrent公司工程总监威廉·拉扎罗(William Lazzaro)说。
  拉扎罗介绍,Concurrent有一个部门专门收集和保存客户的视频点播统计数据,Hadoop的部署给这个部门解决了一个很大的难题。“我们有一个客户,现在一个月就可以新生成30亿条记录,我们预计,在未来3个月,它每月的数据量将会达到10亿条。”
  很长时间以来,Concurrent公司有两个大的难题:一个是传统的关系型数据库无法处理诸如视频这类非结构化数据,另一个是需要进行处理和存储的数据量成倍增长。“我们的客户希望要保留4
其他文献
云和移动让管配简单的网络时代一去不复返。智能手机和平板电脑的设备性能日益强大,越来越多的BYOD在展现着美好的办公和生活场景的同时,也为企业带来了IT管理难题。而在提供免费Wi-Fi服务的咖啡厅、快餐店等零售企业中,如果加入适当的客户行为分析机制,则可为企业带来更多商机。  企业网络运维求变  原本属于消费市场的移动终端逐渐进入了企业,这对企业的网络环境形成了巨大挑战。不同于传统办公环境里设备、人
经历了10年高速增长,2009年中国网游市场规模达到了惊人的265.2亿元。10年中,这个产业创造了许多财富神话,诞生了太多传奇的人和事。然而时至今日,再环顾四下,那种“随处一挖,遍地黄金”的日子已经一去不复返了。    29岁的李润初决定创业,做 一款“3D网页游戏”。1月20日,在2009中国游戏产业年会的现场。他坐在场下,看着台上盛大、腾讯、完美时空一干“大佬”们,憧憬自己的未来。    李
随着苹果、谷歌和微软加入到HTML5的阵型中来,Adobe作为Flash阵型中最主要的工具开发厂商和支持者,最终也只能向趋势低头。    “我们将调整未来的移动设备Flash开发工作,不再面向新版浏览器,新版系统或新式设备开发Flash Player。”日前,Adobe公司相关负责人发布了新的战略决定。  由Adobe公司执掌的Flash一度在浏览器的份额中占到97%,本该在后乔布斯时代大展拳脚的
编者按:创业是当前很多中国年轻人热衷的事情,但由于中国创业环境还不够成熟,创业者们也少有运营经验,投资方和创业方都有很多做法需要完善。本期我们邀请到两位天使投资人,请他们从自身经验出发,给创投双方以中肯的建议,希望能给投资人和创业者带来启发和帮助。  王啸:天使的责任  投资人需要给创业者提供多种帮助,但不能因为出了钱就越俎代庖。  张樱赢 整理  随着中国创业企业不断增加,天使投资的形态也越来越
最近一段时间以来,上网本成为媒体和产业关注的焦点。分析机构认为,2009年上网本销量可达3500万台,差不多占到笔记本电脑总销量的1/3。而在最近的采访中,有IT企业高管表示,上网本的销量很可能远远超过这一比例。  近年,特别是爆发金融危机以来,不少传统的PC大厂状况大不如前,有的甚至出现了巨额亏损。整个PC产业不景气的局面日益深沉。现在,上网本异军突起,到底说明了什么?  如果说这五年与五年前影
近日,宝德带着“中国云·宝德云 中国赢·宝德赢”的宣言,在IDF上展出多款重量级解决方案及产品。宝德的云计算战略定位包括四大部分:云基础设备服务商、私有云解决方案提供商、公有云解决方案提供商、云服务运营商。展出方案及产品包括:基于Intel平台、微软操作系统、宝德硬件的私有云方案;基于Intel至强5600系列处理器的宝德大容量存储服务器PR2012NS-G、模块化服务器PR6000M,以及2U双
差异化制胜海尔新三舰备战“五一”  研究用户需求,并根据需求“对缝”,创新研发出差异化精品。这就是海尔电脑始终孜孜以求的“独特基因”。正是凭借于此,多年来海尔电脑为消费者带来了独有的润眼电脑、超强悍7哥、江山帝景一体机等一系列差异化的精品。  而在“五一”期间,考虑到用户日益提升的应用需求,海尔电脑也特别对由强悍7哥、乐趣一体电脑以及润眼系列组成的明星产品进行了更为严格的性能升级。面对黄金周,海尔
张磊是互联网手机操作系统“点心”的创始人,如今“点心”已经注册成为一家股份公司——“风灵创景”,这是李开复领导的创新工场第一个孵化出来的独立运作公司,张磊的身份也从“点心项目负责人”变成了“风灵创景公司CEO”。  “我有一颗骚动不安的心。”张磊的这种骚动,是创业的冲动和激情,也是所有加盟“创新工场”的项目成员一致的DNA。无论是“乐啊”创业团队的李琪缘,还是“豌豆荚”团队的王俊煜,抑或是“行云”
通信越来越发达,话费越来越便宜,儿女和父母的距离却越来越远。  电脑越来越简单,数字生活越来越便捷,老人和社会的鸿沟却越来越大。  面对“数字时代”,许多老年人成了“文盲”。  疏于和父母联系的儿女,给父母配备了各种数字设备,试图让他们不寂寞、不牵挂、不受冷落。但对他们来说,电脑、电器和各种数字化产品不仅没有给生活带来莫大的便利,反而让他们无所适从。  信息化和数字化变成了洪水猛兽,他们无奈地被卷
9月7日,华为赛门铁克公司推出全新的UTM 系列解决方案,同传统UTM产品相比,新一代方案有更好的安全性和易用性。这次的最新方案也是华为赛门铁克和赛门铁克团队深入合作的研发结果,在自主研发的高性能硬件平台上,开发出高度融合的UTM 系列产品。它的内部融合了Symantec高质量的安全引擎和签名库,并在此基础上,进一步深度整合应用程序识别和网站内容分类技术,从而实现应用检测与传统文件检测技术的紧密结