论文部分内容阅读
有人说，大数据是个谎言；有人说，大数据是个伪命题。
大数据市场确实存在。Gartner预测，到2015年，70%的信息基础架构扩展与投资的主要驱动因素是业务分析需求。以前，人们把精力主要放在如何存储好海量的数据上，而没有想到深入挖掘数据的内在价值。随着数据与业务之间的关系越来越紧密，以及一些大数据分析工具不断涌现，数据分析成了企业决策的前提。
大数据不一定是复杂的分析
许多人一提到大数据，首先想到的是复杂的数据分析。这让有些希望采用大数据分析工具的用户产生了畏难情绪，也让有些用户产生了误解，认为大数据分析只是那些拥有复杂业务流程和海量数据的大企业的事。市场研究机构麦肯锡的研究人员表示：“要创造新的重大价值，并不一定要采用复杂的大数据分析方法，有时只要能保证数据的可用性或对数据应用进行基本的分析，就能获得所需的重要价值。”
不同的企业或一个企业内部不同的部门对数据分析和数据价值的理解都不相同。企业处于不同的信息化发展阶段，也会设定不同的数据分析目标，采用不同的数据分析工具。正是基于此，戴尔率先提出了大数据成熟度模型。戴尔公司全球企业级解决方案副总裁Cheryl Cook表示：“这一模型已经得到了业内许多分析机构的认可。所有行业以及所有数据应用都适用于此模型。”
如下图所示，大数据成熟度模型分成五个阶段。第一个阶段，数据处于混乱状态，数据存储无章可循，数据难以访问，企业的信息系统处于高风险状态。第二个阶段，实现数据的保留。在这个阶段，企业被动地对数据进行存储。数据虽然经过一定的处理，但还不具有高质量，数据的访问也会受到一定限制。第三个阶段，实现存储的优化。在这个阶段，通过对存储系统的进一步优化以及基于策略的控制与管理，用户可以逐步发现数据的价值。第四个阶段，实现简单的分析。在存储优化的基础上，用户可以进行数据建模和简单的数据分析，对归档数据进行搜索等。第五个阶段，实现复杂的分析。在这个阶段，大数据分析工具将得到充分应用，用户可以进行比较复杂的建模、分析和决策。经过上述五个阶段，曾经杂乱无章的数据也将经历从数据到信息再到知识的转变过程，最终成为企业决策的重要依据。
这个大数据成熟度模型可以解答人们对于大数据应用的几个疑惑。第一，用户使用大数据分析工具，并不意味着一定要进行复杂的分析。举例来说，处于存储优化阶段的用户就可以实现无障碍的数据访问，并能获得所需的数据价值。第二，大数据的应用要经历一个逐步完善的过程，必须循序渐进，先做好数据存储和优化，然后再进行数据分析。第三，大数据解决方案通常包括两个部分：一是大数据保留解决方案，二是大数据分析解决方案。将两类解决方案有机地结合在一起，才能有效降低大数据分析应用的成本，更好地挖掘数据的价值。Cheryl Cook表示，戴尔可以提供上述两种解决方案。一方面，戴尔可以提供针对结构化和非结构化数据的大数据保留解决方案，主要包括存储虚拟化与整合、应用程序优化、数据保护、灾难恢复以及数据保留与管理解决方案；另一方面，戴尔还能提供支持Hadoop、Cloudera等开源软件的大数据分析解决方案。
记者曾与包括大庆油田、太平洋保险公司等在内的一些用户进行过交流。它们目前都没有计划部署大数据应用。“从全球范围来看，大数据应用还处于起步阶段。”戴尔亚太及日本地区商用事业部企业解决方案副总裁Philip A. Davis表示，“与云计算兴起时一样，可能要经过两三年的市场培育，用户才能逐渐接受大数据应用。”
中国东方航空股份有限公司信息部总经理严振红介绍说：“在大数据的概念出现以前，我们就在做客户数据、经营数据的分析工作。但是客户数据库、经营数据库等都是相互独立的，数据不能共享。现在，我们要做的是将这些系统的数据整合起来，统一进行分析。”
Hadoop不是万能的
简单来说，Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop最独特的优势在于为用户提供了一个分布式的、高容错的文件系统和加速数据处理的办法。随着Web 2.0、社交网站的大规模兴起，人们需要一个高效的处理非结构化数据的平台。Hadoop正好可以满足人们的需求。有些人甚至在Hadoop和大数据之间划上了等号。Hadoop能够解决大数据应用的所有难题吗？
“Hadoop是一个复杂的工具套件。如果没有厂商或专业技术人员的帮助，用户自己部署Hadoop是一件十分困难的事。目前，Hadoop的应用并不普及。互联网用户是最早采用Hadoop平台的。”Philip A.Davis表示，“如果想让大数据解决方案充分发挥其作用，就必须搭建一个高效的信息基础架构，实现信息基础架构的自动化、智能化，同时提高其可管理性。”
Hadoop的应用是有一定技术门槛的。如今，许多IT厂商都推出了基于Hadoop的解决方案包，其目的是帮助用户简化Hadoop的部署与应用。Philip A.Davis表示：“戴尔提供的基于Hadoop的大数据分析方案可以将Hadoop的部署周期从原来的两个月缩短至两天。”
VMware全球高级副总裁范承工也认为，由于缺少精通Hadoop技术的专业人才，Hadoop的部署对于用户来说是一件费时费力的事。如今，VMware可以将Hadoop部署在虚拟化架构之上，将部署工作从半自动化变为全自动化，从而减少了人工干预，使得Hadoop的部署变得更加简单，也不容易出错。
“很多中国企业的CIO认为，大数据解决方案是有价值的，但实施起来确实有许多困难。”戴尔全球副总裁、中国区大型企业及公共事业部总经理容永康举例说，“国内懂得在Hadoop上进行开发的专业技术人员非常少。一些金融行业的用户很想现在就部署大数据解决方案，但是苦于找不到既懂Hadoop技术，又懂得金融业务的专业人才。”
Informatica首席技术官James Markarian表示：“在IT环境中，Hadoop不可能作为一个孤岛存在。为了让Hadoop跨越不同平台，用户需要将Hadoop作为其IT大环境中的一部分来管理，并通过Hadoop重复使用他们的开发技巧、资产及数据，同时还要统筹管理全部数据。”
在美国市场上，70%的大数据应用处理的还是结构化的数据。从技术的角度看，虽然Hadoop也能处理结构化的数据，但是目前基于Hadoop的大数据分析解决方案主要还是用于处理非结构化的数据。因此，用户处理结构化数据和非结构化数据通常是用两套不同的分析工具。这种混合的大数据处理模式是一种普遍现象。
从未来的发展看，非结构化数据的快速增长是大数据分析的主要驱动因素。从这个角度讲，Hadoop的应用前景还是十分广阔的。
大数据不仅仅是一个解决方案
Cheryl Cook强调说：“用户千万不能认为，只要购买了一个大数据的解决方案，就能解决所有的问题。许多中国用户还没有充分意识到数据能够带来多大的价值。戴尔收购佩罗系统公司，增强了自身的顾问咨询能力，可以帮助客户分析数据能够带来什么样的价值。这为用户日后正确部署大数据解决方案奠定了基础。”
有些厂商通过收购或其他方式，很快就推出了大数据解决方案，并将这些解决方案推销给客户。Cheryl Cook表示：“戴尔先从客户的需求入手，帮助客户分析当前遇到的实际问题是什么，然后进一步明确客户能从数据中获取什么样的价值，最后才是提供量身定制的解决方案。”戴尔大数据解决方案的特色在于开放化和多样化。戴尔既可以提供基于开源软件的大数据解决方案，也可以提供支持微软、SAP等软件的大数据解决方案。针对Hadoop平台，戴尔还能提供一些附加的服务，目的是为了让Hadoop平台能够满足客户的个性化需求。在部署大数据解决方案之前，用户首先要搞清楚，能从大数据解决方案中获得什么样的价值，然后再制定具体的实施规划，接下来就是构建高效的信息基础架构，最后才是部署大数据分析工具。
大数据市场确实存在。Gartner预测，到2015年，70%的信息基础架构扩展与投资的主要驱动因素是业务分析需求。以前，人们把精力主要放在如何存储好海量的数据上，而没有想到深入挖掘数据的内在价值。随着数据与业务之间的关系越来越紧密，以及一些大数据分析工具不断涌现，数据分析成了企业决策的前提。
大数据不一定是复杂的分析
许多人一提到大数据，首先想到的是复杂的数据分析。这让有些希望采用大数据分析工具的用户产生了畏难情绪，也让有些用户产生了误解，认为大数据分析只是那些拥有复杂业务流程和海量数据的大企业的事。市场研究机构麦肯锡的研究人员表示：“要创造新的重大价值，并不一定要采用复杂的大数据分析方法，有时只要能保证数据的可用性或对数据应用进行基本的分析，就能获得所需的重要价值。”
不同的企业或一个企业内部不同的部门对数据分析和数据价值的理解都不相同。企业处于不同的信息化发展阶段，也会设定不同的数据分析目标，采用不同的数据分析工具。正是基于此，戴尔率先提出了大数据成熟度模型。戴尔公司全球企业级解决方案副总裁Cheryl Cook表示：“这一模型已经得到了业内许多分析机构的认可。所有行业以及所有数据应用都适用于此模型。”
如下图所示，大数据成熟度模型分成五个阶段。第一个阶段，数据处于混乱状态，数据存储无章可循，数据难以访问，企业的信息系统处于高风险状态。第二个阶段，实现数据的保留。在这个阶段，企业被动地对数据进行存储。数据虽然经过一定的处理，但还不具有高质量，数据的访问也会受到一定限制。第三个阶段，实现存储的优化。在这个阶段，通过对存储系统的进一步优化以及基于策略的控制与管理，用户可以逐步发现数据的价值。第四个阶段，实现简单的分析。在存储优化的基础上，用户可以进行数据建模和简单的数据分析，对归档数据进行搜索等。第五个阶段，实现复杂的分析。在这个阶段，大数据分析工具将得到充分应用，用户可以进行比较复杂的建模、分析和决策。经过上述五个阶段，曾经杂乱无章的数据也将经历从数据到信息再到知识的转变过程，最终成为企业决策的重要依据。
这个大数据成熟度模型可以解答人们对于大数据应用的几个疑惑。第一，用户使用大数据分析工具，并不意味着一定要进行复杂的分析。举例来说，处于存储优化阶段的用户就可以实现无障碍的数据访问，并能获得所需的数据价值。第二，大数据的应用要经历一个逐步完善的过程，必须循序渐进，先做好数据存储和优化，然后再进行数据分析。第三，大数据解决方案通常包括两个部分：一是大数据保留解决方案，二是大数据分析解决方案。将两类解决方案有机地结合在一起，才能有效降低大数据分析应用的成本，更好地挖掘数据的价值。Cheryl Cook表示，戴尔可以提供上述两种解决方案。一方面，戴尔可以提供针对结构化和非结构化数据的大数据保留解决方案，主要包括存储虚拟化与整合、应用程序优化、数据保护、灾难恢复以及数据保留与管理解决方案；另一方面，戴尔还能提供支持Hadoop、Cloudera等开源软件的大数据分析解决方案。
记者曾与包括大庆油田、太平洋保险公司等在内的一些用户进行过交流。它们目前都没有计划部署大数据应用。“从全球范围来看，大数据应用还处于起步阶段。”戴尔亚太及日本地区商用事业部企业解决方案副总裁Philip A. Davis表示，“与云计算兴起时一样，可能要经过两三年的市场培育，用户才能逐渐接受大数据应用。”
中国东方航空股份有限公司信息部总经理严振红介绍说：“在大数据的概念出现以前，我们就在做客户数据、经营数据的分析工作。但是客户数据库、经营数据库等都是相互独立的，数据不能共享。现在，我们要做的是将这些系统的数据整合起来，统一进行分析。”
Hadoop不是万能的
简单来说，Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop最独特的优势在于为用户提供了一个分布式的、高容错的文件系统和加速数据处理的办法。随着Web 2.0、社交网站的大规模兴起，人们需要一个高效的处理非结构化数据的平台。Hadoop正好可以满足人们的需求。有些人甚至在Hadoop和大数据之间划上了等号。Hadoop能够解决大数据应用的所有难题吗？
“Hadoop是一个复杂的工具套件。如果没有厂商或专业技术人员的帮助，用户自己部署Hadoop是一件十分困难的事。目前，Hadoop的应用并不普及。互联网用户是最早采用Hadoop平台的。”Philip A.Davis表示，“如果想让大数据解决方案充分发挥其作用，就必须搭建一个高效的信息基础架构，实现信息基础架构的自动化、智能化，同时提高其可管理性。”
Hadoop的应用是有一定技术门槛的。如今，许多IT厂商都推出了基于Hadoop的解决方案包，其目的是帮助用户简化Hadoop的部署与应用。Philip A.Davis表示：“戴尔提供的基于Hadoop的大数据分析方案可以将Hadoop的部署周期从原来的两个月缩短至两天。”
VMware全球高级副总裁范承工也认为，由于缺少精通Hadoop技术的专业人才，Hadoop的部署对于用户来说是一件费时费力的事。如今，VMware可以将Hadoop部署在虚拟化架构之上，将部署工作从半自动化变为全自动化，从而减少了人工干预，使得Hadoop的部署变得更加简单，也不容易出错。
“很多中国企业的CIO认为，大数据解决方案是有价值的，但实施起来确实有许多困难。”戴尔全球副总裁、中国区大型企业及公共事业部总经理容永康举例说，“国内懂得在Hadoop上进行开发的专业技术人员非常少。一些金融行业的用户很想现在就部署大数据解决方案，但是苦于找不到既懂Hadoop技术，又懂得金融业务的专业人才。”
Informatica首席技术官James Markarian表示：“在IT环境中，Hadoop不可能作为一个孤岛存在。为了让Hadoop跨越不同平台，用户需要将Hadoop作为其IT大环境中的一部分来管理，并通过Hadoop重复使用他们的开发技巧、资产及数据，同时还要统筹管理全部数据。”
在美国市场上，70%的大数据应用处理的还是结构化的数据。从技术的角度看，虽然Hadoop也能处理结构化的数据，但是目前基于Hadoop的大数据分析解决方案主要还是用于处理非结构化的数据。因此，用户处理结构化数据和非结构化数据通常是用两套不同的分析工具。这种混合的大数据处理模式是一种普遍现象。
从未来的发展看，非结构化数据的快速增长是大数据分析的主要驱动因素。从这个角度讲，Hadoop的应用前景还是十分广阔的。
大数据不仅仅是一个解决方案
Cheryl Cook强调说：“用户千万不能认为，只要购买了一个大数据的解决方案，就能解决所有的问题。许多中国用户还没有充分意识到数据能够带来多大的价值。戴尔收购佩罗系统公司，增强了自身的顾问咨询能力，可以帮助客户分析数据能够带来什么样的价值。这为用户日后正确部署大数据解决方案奠定了基础。”
有些厂商通过收购或其他方式，很快就推出了大数据解决方案，并将这些解决方案推销给客户。Cheryl Cook表示：“戴尔先从客户的需求入手，帮助客户分析当前遇到的实际问题是什么，然后进一步明确客户能从数据中获取什么样的价值，最后才是提供量身定制的解决方案。”戴尔大数据解决方案的特色在于开放化和多样化。戴尔既可以提供基于开源软件的大数据解决方案，也可以提供支持微软、SAP等软件的大数据解决方案。针对Hadoop平台，戴尔还能提供一些附加的服务，目的是为了让Hadoop平台能够满足客户的个性化需求。在部署大数据解决方案之前，用户首先要搞清楚，能从大数据解决方案中获得什么样的价值，然后再制定具体的实施规划，接下来就是构建高效的信息基础架构，最后才是部署大数据分析工具。