论文部分内容阅读
三分技术，七分数据，得数据者得天下。大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。
“明天看《纸牌屋》，请大家别剧透。”
发这条Twitter的人除了是《纸牌屋》的粉丝外，他还有另外一个身份一美国总统奥巴马。不仅如此，连中国一些官员也对这部剧颇感兴趣。
《纸牌屋》里的数据秘密
《纸牌屋》究竟是何“神剧”，竟能受到众名人的关注。
作为一家从在线影片租赁提供商，到现今美国最大互联网视频公司之一的奈飞视频网站，十几年来积累了庞大的客户数据：每天奈飞公司能够获得用户3000多万个，包括停止、回放、暂停、快进等行为，另外还会搜集订阅用户每天给出的400万个评分，300万次搜索请求。将这些数据加工整合后，形成数百亿数据池。公司根据数据池里整合的数据利用推荐算法，来识别具有相似品味的观众。
《纸牌屋》的爆红不仅让它的制作方奈飞公司赚得盆满钵盈，还让一个前沿技术再次进入大众视野，它就是被称之为“可预测未来”的“大数据技术”。
“大数据”一词对于我们已经并不陌生，我们可从近两年的众多报道和文章中寻到它的踪影。但“大数据”究竟如何运用，至今又取得哪些成果？恐怕大众还无法准确地一语道出。
让“大数据”走下神坛
早在1980年，著名未来学家阿尔文·托夫勒便在《第三次革命浪潮》一书中，将“大数据”热情地颂赞为“第三次浪潮的华彩乐章”。不过，大约从2009年，“大数据”才成为互联网信息技术行业的流行词汇。此后，大数据时代带来的变革便在国外商界初露倪端。
总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛，为了能够准确了解顾客在其门店的购买习惯，沃尔玛利用NCR数据挖掘工具对顾客原始交易数据进行分析和挖掘，便可轻松地知道顾客经常一起购买的商品有哪些。经过大量信息的整合研究，一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！”
沃尔玛的数据，揭示了隐藏在“尿布与啤酒”背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。
既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就在其一个个门店将尿布与啤酒摆放在一起，结果是尿布与啤酒的销售量双双增长。
这个故事的意义在于，将看似不相关的商品数据放在一起分析，找到他们之间的相关性，而后进行交叉营销，最终可大大促进商品的销量。
不管是《纸牌屋》的数据池，还是沃尔玛的交叉数据分析，大数据是使其最终受益的关键所在。在互联网、信息技术飞速发展的今天，海量数据的收集与挖掘已不再是天方夜谭，它的神秘面纱随着科技的进步被逐渐揭开。曾经让众人敬畏、惊叹的“大数据”现已走下神坛，为民所用。
数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山一角，但绝大部分则隐藏在表面之下。而现在已有不少创新型企业开始深挖数据的水下矿藏。谷歌重复使用搜索关键词来监测流感的传播；Farecast利用机票销售数据来预测未来的机票价格；麦格雷戈博士用婴儿的生命体征来预测传染病的发生；亚马逊通过分析用户习惯、喜好进行精准的产品推荐。
数据不仅在“大”，更在于“有用”
庞大的人群和应用市场，海量信息及传播增速，使得中国成为世界上最复杂的大数据国家。自2009年“大数据”一词传入我国，就有不少行业人士对此产生浓厚兴趣。此后几年间，国内不少拥有大量用户数据的公司，都宣称将采用大数据分析的方法，根据用户喜好定制产品内容。
就在《纸牌屋》借力“大数据”春风得意时，我国视频网站也在摩拳擦掌，奋力登上这块新大陆，一览科技所带来的无限光景。
爱奇艺表示，愿意尝试依靠大数据分析实现“千人千面”的首页全个性化内容推荐；搜狐视频借助大数据，根据用户需求制作本土自制剧。
虽然我国有不少试水“大数据”技术的案列，但仅仅收集海量数据，用数字作为信息统计的证明，而不去开发、挖掘数据的潜在价值，那么“大数据”的小宇宙依然没被唤醒。例如去年央视春晚微信红包用户的数据统计：除夕20时至年初一零时48分，春晚微信摇一摇互动总量超过110亿次；春晚微信祝福在185个国家和地区之间传递了约3万亿公里。数据量、信息量都已达到“大数据”标准，但孤单的数字之间有何联系，我们又能从这些数字背后看到什么，业界却没有进一步的研究。
阿里巴巴集团董事局主席马云在淘宝十周年晚会上说：“我们还没搞懂PC互联网的时候，移动互联网来了，我们还没搞懂移动互联网的时候，大数据来了。”
确实，我们以前经常说计划赶不上时间的流逝，现在可以说时间已跟不上科技更新的步伐。现阶段的“大数据”已不能只停留在“收集”的层面上，分析和挖掘数据的潜在信息，用信息创造价值，这才是“大数据”存在的意义。
阿里巴巴在2008年就把大数据作为一项公司基本战略，经过多年的沉淀，其在经济领域的数据量可谓恐怖。但数据量大并不一定能解决问题。以天猫分期购的例子来说，消费者在天猫上的每一次消费行为，购买商品时填写的手机号和地址，余额宝中的存款数目，都会被阿里抓取放入数据库中。当然，这些数据在平时就会淹没在茫茫的数据海洋中，不被人注意。但当要对用户进行信用评估时，这些数据便可发挥出巨大作用，因为这些数据完全可以直接转化为真实的经济行为，天猫可利用这些关联性极强的信息，帮助消费者和商家优化分期购配置。
在各个行业的垂直特色化应用，大数据也有巨大的想象空间，例如：金融公司可以通过大数据进行客户信用评级，为银行、保险公司或P2P平台服务；零售商可借助大数据进行店面选址服务，并利用关联规则进行客户购物篮分析，从而给客户推荐相应的促销活动；房地产商通过互联网平台的大数据进行购房潜在客户挖掘，或通过大数据提供精准的社区O2O服务；大数据公司可以基于自然语言处理和语义分析，为政府提供舆情监测服务，使政府及时了解民声，优化政府相关服务。
2014年8月18日，中国国家主席习近平主持召开中央全面深化改革领导小组第四次会议，并发表关于传统媒体与新媒体融合的重要讲话。会上习近平强调，要利用大数据和云计算技术推进新闻生产。这就为新闻媒体行业进行大数据技术改革提供了良好契机。媒体可通过大数据实现更科学的媒介选择；可推动新闻预测性报道的兴起；还可利用大数据后台改变传统新闻编写模式。
“数据将成为一种战略性原料，每一个企业、科研团队和政府，都有责任有目的地搜集、处理、分析、索引数据。”电子科技大学互联网中心主任周涛号召企业投身大数据，用更先进的武器装备应战愈加激烈的市场竞争。
近期，总投资220亿元惠普全球大数据应用研究及产业示范基地项目落户青岛，该项目主要是建设全球大数据应用研究中心、大数据处理中心、大数据测试中心、全球战略伙伴智慧产业实验区等惠普研发机构，以便为惠普的升级拓展提供先进的技术支撑。
今天，我们生活在一个计算型的社会，因为我们相信世界是可以通过数字和数学而获得解释。“量化一切”对于活在数字时代的我们，已经成为一种习惯。
大数据给了中国一个大机会，它除了将更好地解决社会问题、商业营销问题、科学技术问题，还有一个可预见的趋势就是以人为本的大数据方针。用不了多久，每个人便可以独自利用“大数据”预测明天。
“明天看《纸牌屋》，请大家别剧透。”
发这条Twitter的人除了是《纸牌屋》的粉丝外，他还有另外一个身份一美国总统奥巴马。不仅如此，连中国一些官员也对这部剧颇感兴趣。
《纸牌屋》里的数据秘密
《纸牌屋》究竟是何“神剧”，竟能受到众名人的关注。
作为一家从在线影片租赁提供商，到现今美国最大互联网视频公司之一的奈飞视频网站，十几年来积累了庞大的客户数据：每天奈飞公司能够获得用户3000多万个，包括停止、回放、暂停、快进等行为，另外还会搜集订阅用户每天给出的400万个评分，300万次搜索请求。将这些数据加工整合后，形成数百亿数据池。公司根据数据池里整合的数据利用推荐算法，来识别具有相似品味的观众。
《纸牌屋》的爆红不仅让它的制作方奈飞公司赚得盆满钵盈，还让一个前沿技术再次进入大众视野，它就是被称之为“可预测未来”的“大数据技术”。
“大数据”一词对于我们已经并不陌生，我们可从近两年的众多报道和文章中寻到它的踪影。但“大数据”究竟如何运用，至今又取得哪些成果？恐怕大众还无法准确地一语道出。
让“大数据”走下神坛
早在1980年，著名未来学家阿尔文·托夫勒便在《第三次革命浪潮》一书中，将“大数据”热情地颂赞为“第三次浪潮的华彩乐章”。不过，大约从2009年，“大数据”才成为互联网信息技术行业的流行词汇。此后，大数据时代带来的变革便在国外商界初露倪端。
总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛，为了能够准确了解顾客在其门店的购买习惯，沃尔玛利用NCR数据挖掘工具对顾客原始交易数据进行分析和挖掘，便可轻松地知道顾客经常一起购买的商品有哪些。经过大量信息的整合研究，一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！”
沃尔玛的数据，揭示了隐藏在“尿布与啤酒”背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。
既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就在其一个个门店将尿布与啤酒摆放在一起，结果是尿布与啤酒的销售量双双增长。
这个故事的意义在于，将看似不相关的商品数据放在一起分析，找到他们之间的相关性，而后进行交叉营销，最终可大大促进商品的销量。
不管是《纸牌屋》的数据池，还是沃尔玛的交叉数据分析，大数据是使其最终受益的关键所在。在互联网、信息技术飞速发展的今天，海量数据的收集与挖掘已不再是天方夜谭，它的神秘面纱随着科技的进步被逐渐揭开。曾经让众人敬畏、惊叹的“大数据”现已走下神坛，为民所用。
数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山一角，但绝大部分则隐藏在表面之下。而现在已有不少创新型企业开始深挖数据的水下矿藏。谷歌重复使用搜索关键词来监测流感的传播；Farecast利用机票销售数据来预测未来的机票价格；麦格雷戈博士用婴儿的生命体征来预测传染病的发生；亚马逊通过分析用户习惯、喜好进行精准的产品推荐。
数据不仅在“大”，更在于“有用”
庞大的人群和应用市场，海量信息及传播增速，使得中国成为世界上最复杂的大数据国家。自2009年“大数据”一词传入我国，就有不少行业人士对此产生浓厚兴趣。此后几年间，国内不少拥有大量用户数据的公司，都宣称将采用大数据分析的方法，根据用户喜好定制产品内容。
就在《纸牌屋》借力“大数据”春风得意时，我国视频网站也在摩拳擦掌，奋力登上这块新大陆，一览科技所带来的无限光景。
爱奇艺表示，愿意尝试依靠大数据分析实现“千人千面”的首页全个性化内容推荐；搜狐视频借助大数据，根据用户需求制作本土自制剧。
虽然我国有不少试水“大数据”技术的案列，但仅仅收集海量数据，用数字作为信息统计的证明，而不去开发、挖掘数据的潜在价值，那么“大数据”的小宇宙依然没被唤醒。例如去年央视春晚微信红包用户的数据统计：除夕20时至年初一零时48分，春晚微信摇一摇互动总量超过110亿次；春晚微信祝福在185个国家和地区之间传递了约3万亿公里。数据量、信息量都已达到“大数据”标准，但孤单的数字之间有何联系，我们又能从这些数字背后看到什么，业界却没有进一步的研究。
阿里巴巴集团董事局主席马云在淘宝十周年晚会上说：“我们还没搞懂PC互联网的时候，移动互联网来了，我们还没搞懂移动互联网的时候，大数据来了。”
确实，我们以前经常说计划赶不上时间的流逝，现在可以说时间已跟不上科技更新的步伐。现阶段的“大数据”已不能只停留在“收集”的层面上，分析和挖掘数据的潜在信息，用信息创造价值，这才是“大数据”存在的意义。
阿里巴巴在2008年就把大数据作为一项公司基本战略，经过多年的沉淀，其在经济领域的数据量可谓恐怖。但数据量大并不一定能解决问题。以天猫分期购的例子来说，消费者在天猫上的每一次消费行为，购买商品时填写的手机号和地址，余额宝中的存款数目，都会被阿里抓取放入数据库中。当然，这些数据在平时就会淹没在茫茫的数据海洋中，不被人注意。但当要对用户进行信用评估时，这些数据便可发挥出巨大作用，因为这些数据完全可以直接转化为真实的经济行为，天猫可利用这些关联性极强的信息，帮助消费者和商家优化分期购配置。
在各个行业的垂直特色化应用，大数据也有巨大的想象空间，例如：金融公司可以通过大数据进行客户信用评级，为银行、保险公司或P2P平台服务；零售商可借助大数据进行店面选址服务，并利用关联规则进行客户购物篮分析，从而给客户推荐相应的促销活动；房地产商通过互联网平台的大数据进行购房潜在客户挖掘，或通过大数据提供精准的社区O2O服务；大数据公司可以基于自然语言处理和语义分析，为政府提供舆情监测服务，使政府及时了解民声，优化政府相关服务。
2014年8月18日，中国国家主席习近平主持召开中央全面深化改革领导小组第四次会议，并发表关于传统媒体与新媒体融合的重要讲话。会上习近平强调，要利用大数据和云计算技术推进新闻生产。这就为新闻媒体行业进行大数据技术改革提供了良好契机。媒体可通过大数据实现更科学的媒介选择；可推动新闻预测性报道的兴起；还可利用大数据后台改变传统新闻编写模式。
“数据将成为一种战略性原料，每一个企业、科研团队和政府，都有责任有目的地搜集、处理、分析、索引数据。”电子科技大学互联网中心主任周涛号召企业投身大数据，用更先进的武器装备应战愈加激烈的市场竞争。
近期，总投资220亿元惠普全球大数据应用研究及产业示范基地项目落户青岛，该项目主要是建设全球大数据应用研究中心、大数据处理中心、大数据测试中心、全球战略伙伴智慧产业实验区等惠普研发机构，以便为惠普的升级拓展提供先进的技术支撑。
今天，我们生活在一个计算型的社会，因为我们相信世界是可以通过数字和数学而获得解释。“量化一切”对于活在数字时代的我们，已经成为一种习惯。
大数据给了中国一个大机会，它除了将更好地解决社会问题、商业营销问题、科学技术问题，还有一个可预见的趋势就是以人为本的大数据方针。用不了多久，每个人便可以独自利用“大数据”预测明天。