大数据比海量数据多了什么

来源 :中国计算机报 | 被引量 : 0次 | 上传用户:c1133186
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  由EMC赞助的IDC数字宇宙研究《从混沌中提取价值》指出,全球数据量每两年翻一番, 2011年创建和复制的数据量为1.8ZB(1ZB=106PB)。2005年以来,为处理大量数据,企业投资已达到4万亿美元。大数据将催生社会、技术、科学和经济的变革。
  以前,我们习惯称大量数据为海量数据。从2010年下半年开始,大数据这个概念逐渐为人们所熟知。那么,大数据比海量数据到底多了些什么呢?EMC中国卓越研发集团首席技术官陶波表示:“大数据与海量数据从本质上讲并没有不同,两者都反映出数据快速增长的趋势。但是,海量数据主要是从存储的角度去考虑问题,而大数据除了包括数据存储,还包括商务智能和数据分析。”正是基于这种认识,EMC收购了数据仓库厂商Greenplum。其实,在大数据时代,企业对存储的要求也有变化,具备横向扩展(Scale-out)能力的存储越来越受到用户的欢迎。EMC收购Scale-out NAS厂商Isilon就是为了顺应这种趋势。Isilon与Greenplum的组合成了EMC进入大数据市场的敲门砖。
  
  存储随需而变
  
  美国一家知名的DVD租赁企业每年都会邀请一些协同处理算法的专家对其用户数据进行分析,从而了解租赁客户的需求。一些美国金融企业甚至提出了分析即服务的理念。陶波表示,金融、电信、互联网等企业对大数据的处理和分析有迫切的需求。与传统的商务智能应用相比,大数据对企业数据的处理能力和商务智能软件提出了更高要求:首先,企业必须具备处理大量数据的能力,因为有的企业可能一天之内就要多次处理PB级的数据,这是一些传统的存储设备所不能胜任的;其次,传统的数据仓库软件是针对结构化数据设计的,而大数据包含的主要是非结构化的数据,因此传统的数据仓库软件必须改变。
  谈到大数据对存储的影响,陶波表示,具有横向扩展能力的存储才能更好地处理大量文件。Isilon集群NAS产品的主要技术优势就是横向扩展能力。最新的EMC Isilon IQ 108NL采用3TB企业级Hitachi Ultrastar驱动器,在单一文件系统和单个卷中,其容量可超过15PB。EMC还推出了Isilon SmartLock数据保留软件应用,可保证大数据从收集到归档的完整性和连续性。随着大数据时代的到来,NAS存储将大行其道。为了提高系统的处理性能,SSD在存储中的应用也会越来越普遍。
  
  云计算和大数据相辅相成
  
  为了满足大数据的需求,商务智能软件必须改变。陶波举例说:“随着多核处理器的普及,商务智能软件也要从针对单线程的应用转为针对多线程的应用,因此商务智能软件的代码可能要改变。”EMC已与许多商务智能软件厂商开展了紧密合作。EMC的硬件平台不仅针对Greenplum软件进行了优化,而且还能广泛地支持第三方的商务智能软件。
  今年5月,EMC针对常用于数据密集型分布式应用的Hadoop开源软件推出了一个定制的、高性能的Hadoop专用数据协同处理设备——Greenplum HD数据计算设备(Data Computing Appliance)。该设备结合了Hadoop和EMC Greenplum数据库,在一个单一、无缝的解决方案中实现了对结构化和非结构化数据的协同处理。此外,EMC还推出了面向Hadoop的EMC Greenplum HD社区版和EMC Greenplum HD企業版软件。
  陶波表示,在大数据时代,如何同时处理好结构化数据与非结构化数据对厂商和用户来说都是一个挑战。EMC正在对此进行进入研究。
  目前,Greenplum有一半的工程师在中国。Greenplum产品的一些重要功能也是在中国研发的,比如Greenplum与Hadoop、VMware虚拟化平台以及云平台的结合都是在中国完成的。云计算将成为大数据处理的一个支撑平台。许多中小企业可以在云平台上进行深入的数据分析。
其他文献
2011年度  中国行业信息化领军人物奖  张振清现任亚信联创公司CEO兼总裁,全面负责公司的管理及业务工作。张振清先生拥有多年的IT产业管理经验以及专业洞察力。张振清先生于1999年12月加盟亚信联创公司,曾先后担任亚信联创软件事业部总经理,亚信联创首席技术官,CMCC(中国移动)客户业务部总经理。2005年4月,正式升任亚信联创CEO兼总裁。    亚信联创集团股份有限公司(Asiainfo-
2011年度  中国行业信息化值得信赖品牌奖  “像使用者一样思考”,在这一原则指导下,263企业会议依托不懈的创新能力和稳定的运营服务保障,致力于为企业提供专家级多方远程会议服务,协助更多的企业降低协作运营成本,实现高效、绿色沟通。    近年来,面对中国快速发展的信息化建设进程,越来越多的企业为了提升自身生产管理环境,降低运营成本,大力发展和普及企业通信工具。在各类通信手段中,电话或视频会议的
2011年度  中国档案信息化标杆企业奖  中国档案信息化最佳解决方案奖  光典数字档案馆整体解决方案在“统一规划、分步实施、资源共享、确保安全”的原则下,立足先进信息技术和全新发展思路,逐步建立档案数字资源的收集、存储、加工、管理、利用的过程体系和政府、企业、事业、社区、家庭等档案管理模式,构建基于各种网络平台上并覆盖一定区域的超大规模档案信息资源共享总库。    上海中信信息发展股份有限公司(
融资难一直是中小企业发展的拦路虎。银行不待见、民间资本利率过高,中小企业究竟应该怎么办?成都高新区的梯形融资模式又是如何来解决这一问题的?    谈到中小企业融资难,成都得仁数码电子有限公司(以下简称得仁数码)总经理王越深有感触。在创业之初,王越和她的团队希望产业报国,想通过自主创新研究开发的核心技术直接进入高清平板显示行业产业链的上游,让中国企业在此行业拥有话语权。但由于缺乏相应的资金管理方面的
奥图码EH7500采用德州仪器的DLP WUXGA显示芯片,标称亮度达到了7000流明,对比度达到1400∶1。针对大型礼堂、剧院设计的EH7500,分辨率达到了1920×1200,超过了全高清的分辨率,可以完美显示蓝光电影的1080P画面和WUXGA规格的画面。为了满足工程用户的苛刻要求,EH7500配备了双灯、镜头电动位移、可更换式色轮。  双灯更稳定  EH7500是奥图码首款采用双灯系统的
ASG(Allen Systems Group)公司进入中国已经有10年时间,虽然在大型机的监控和管理方面颇有建树,但对于大多数的中国用户来说,ASG这个名字还相对比较陌生。2011年5月,ASG通过收购德国Visionapp公司进入了云计算领域。    老兵新传    创立于1986年的ASG公司是一家专门提供应用程序管理、内容管理、企业管理、身份管理、元数据管理、运营管理及性能管理产品的软件解
DocuPrint C2255 A3幅面彩色SLED打印機是富士施乐一款针对大型工作组设计的产品,它重量达到了63kg,尺寸为宽640mm×深665mm×高399mm。  C2255采用了富士施乐独有的SLED打印头,分辨率达到过去产品无法达到的1200dpi×2400dpi。C2255采用了667MHz处理器和256MB内存,进一步提升了打印速度。C2255的接口非常丰富,包括两个USB接口、一
福禄克网络近日推出了业界首款平板式手持网络分析仪——OptiView XG。OptiView XG支持10Gbps分析,支持虚拟化、NerFlow、用户定制化仪表盘、完全无线操作和技术人员指导的故障处理,能够帮助用户随时随地自动分析网络问题,让网络问题无处遁形,帮助用户快速找到问题所在并及时排除故障。  OptiView XG采用英特尔酷睿双核 1.2GHz处理器,标配128GB固态可拆卸硬盘,采
最近忙着过生日的企业不少,神州数码十周年、IBM百年,东软也正在为自己庆祝20岁生日。20年来,东软在社保管理、电子政务、医疗健康、智能电网等领域形成了深厚积淀,成为一家新兴的跨国IT服务和解决方案提供商。  “创业就是把别人都认为不可能的事情做成,这也是最过瘾的事情。”东软集团董事长兼CEO刘积仁回忆起东软创业20年来的历史十分感慨,他认为正是“对牺牲的恐惧和对活下来的渴望,让东软能够不断坚持和
为了支持海量数据存储和处理、高并发处理、高性价比、高可用性等需求,提供高端数据仓库解决方案,达梦数据库7.0版本(DM7)提供了大规模并行处理MPP架构,以极低的成本代价,为客户提供业界领先的计算性能。DM7采用完全对等无共享(share-nothing)的MPP架构,支持SQL并行处理,可自动化分区数据和并行查询,无I/O冲突。  MPP架构凸显六大特色  MPP系统工作起来就像是一台单独的计算