论文部分内容阅读
摘 要:随着需求爆发及数据爆炸两大问题在当今城市管理及服务应用建设领域下的矛盾日益突显,本文从大数据的概念和特征出发,引入大数据环境下的服务理念,并通过对国内外大数据服务建设状况和发展进程的探讨,逐步归纳在当前阶段我国大中型城市建设大数据环境下公众移动服务的主要探索领域和方向。
关键词:大数据;公众服务;移动应用
中图分类号:TP31
1 大数据环境下公众移动服务的概述
1.1 大数据的概念和特征
随着信息技术的发展和各个领域、行业对信息技术需求的爆发,“大数据”的概念也被越来越多的用户和受众接受并认可。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
数据体量巨大,数据类型繁多,价值密度低,处理速度快是“大数据”最为明显的几个特征。基于这些特征,大数据技术可以被理解为从各种各样类型的巨量数据中,快速获得有价值信息的技术。通过对海量数据的分析和整理,在大数据时代,我们可以分析更多的数据,而不再依赖于随机采样,借助这样的方式我们可以获得更加科学、更加具备参考性的分析结果。由此看来,大数据时代我们面临的挑战是如何处理数据爆炸带来的海量数据量、结构复杂的数据信息,通过科学的技术和手段获取有价值的信息。
“大数据”的加深,必然导致单一应用服务将向关联应用服务转变。随着电子商务、移动互联网、社交媒体、物联网的飞速发展,以及智能手机、平板电脑和3G网络的普及,来自数据应用服务的挑战将更为突出。
1.2 大数据环境下公众移动服务面对的挑战
迎战大数据,拥有大数据服务产品是基础,进行技术前倾是关键,而主动意识则是前提。一方面将立足过去十余年专注大型通用数据库的基础上进一步提升成熟度及扩展能力;另一方面将重点发展融合吸收,把数据库和新技术融合,将非结构化、半结构化进行融合处理,发展大数据的管理和分析技术。
因此,在大数据环境下建设公众移动服务,最大的挑战并非来自移动信息化技术的瓶颈和移动数据产品的基础水平,而是多年来传统信息化建设模式和数据模式带来的巨大惯性以及固有意识向主动服务意识进行转变的障碍周期。
“大数据趋势下,一切以对大数据的深度应用以及对数据价值的深度挖掘为导向,我们需要改变意识,以迎战大数据时代下的各类应用需要,在大数据环境下拓展面向公众服务内容,遵循数据为王,一切皆为服务的理念。
2 大数据环境下公众移动服务的现状分析
2.1 大数据环境的现状
近年来,在各项信息化建设的方案中总是能够看到两个词语频繁出现:“大数据”和“智慧化”。从当前的信息化发展状况及信息服务所处的阶段来看,“大数据”和“智慧化”的建设方向是存在着巨大交集的。在很大程度上,遵循“大数据”理念进行信息化建设,直接导向“智慧化”结果。
国际电信联盟秘书长哈马德在世博会“信息化与城市发展”主体论坛上提出:“每个城市将会因为信息通信技术的运用,变得更加美好。信息通信技术能够进一步改进公共交流的方式,城市环境将变得更加健康,这一切,就是智慧城市带来的改变。”
我国政府部门也对大数据产业进行了高度的关注,我国政府部门认为“大数据是一个具有国家战略意义的新兴产业”。并在发布的《“十二五”国家战略性新兴产业发展规划》提出支持海量数据存储、处理技术的研发与产业化。
近年来,信息产业发展模式和格局正在发生深刻变革。基于“硬件、软件、终端、内容、服务”的产业链垂直整合,正推动信息产业组织方式深刻变革;大数据、云计算、移动互联网应用等面向服务的商业模式创新,正在开辟新的产业增长点,大数据产业生态环境正在加速构建。
2.2 我国公众移动服务的现状
移动设备的普及和通信服务的发展构成了我国公众移动服务的主要载体。随着我国经济建设的不断深入和现代通信技术的不断发展,第三代移动通信系统在我国已经完成全国范围的网络建设,各种新的行业应用已经日趋成熟。
我国已经规模建设的3G标准主要有三种:WCDMA(中国联通)、CDMA2000 EVDO(中国电信)与TD-SCDMA(中国移动)。第三代移动通信系统的主要特征就是系统可提供丰富多彩的移动多媒体业务。
3 大数据环境下公众移动服务的技术探索
3.1 大数据环境下数据服务主要应用技术探索
大数据环境下,数据服务主要应用技术领域依然是面向需求,或者说,是面向业务和服务的。从应用技术层面来看,大数据环境与之前的传统信息建设的基础模型并不存在翻天覆地的变化,但是在数据逻辑层及数据交互层上,将引入更多的模糊算法模型、数据处理模型以及交互模型。
大数据环境下数据服务的主要应用技术包括了数据采集、数据存取、基础架构、数据处理、统计分析和数据挖掘,基于公众移动服务的独特性,我们可以将“大数据”在此领域下的主要应用技术归纳为以下四个方向:
大数据主要应用技术之一数据采集:随着信息技术的发展,数据的形式与内容已经变的越来越多样,有结构化的数据和非结构化数据如图片数据等。产生数据的来源也是多种多样,例如互联网、移动设备、各类物联网传感器等。如何在这些数据库之间进行合理的负载均衡和分片处理是大数据采集是需要进行深入的思考和设计。
大数据主要应用技术之二数据集成:数据采集只是解决了在大数据环境下对分散在不同设备或系统中的海量数据通过一种标准的方式进行数据获取的方式,但是如果要对这些采集到的海量数据进行有效的分析,应该这些数据进行集成,并做一些清洗和预处理工作。从而提高数据的质量,减少数据的冗余度,集成过程的特点主要是集成的数据量非常大,每秒钟的集成的数据量通常会达到百兆,甚至千兆级别。 大数据主要应用技术之三,数据分析:数据分析主要利用对采集以及集成的海量数据进行简单分析和分类汇总、统计等应用,满足日常相对比较常见的分析需求应用。大数据体系下的数据分析主要特点是分析的数据量大,其对系统资源占用率高,因此在在数据分析时要充分考虑数据存储设备的性能。
大数据主要应用技术之四,数据挖掘:通过对数据结构进行分析与挖掘,借助建立各类数据算法模型,对数据进行深度挖掘,发现数据之间的规律性特征,从而起到预测(Predict)的效果。在数据挖掘应用中比较典型算法有用于聚类算法的Kmeans、用于统计算法的SVM和用于分类算法的NaiveBayes。
一个比较完整的大数据处理至少应该满足以上四个方面的过程。
3.2 大数据环境下公众移动服务的构想
从当前的传统信息化服务模式向大数据环境下公众移动服务模式转变,首先需要将固有服务模式向前倾式数据服务模式进行转变,在完整的建设标准规范下,以现实可行的运行机制进行有序规划。在任何领域下的意识转变,包括信息化服务建设,都需要一个遵循生命周期的过程,而在建设大数据服务的过程中,我们最需要考虑的是以下四个方面的内容:
一是建立一套大数据环境下公众移动服务运行机制。通过这种运行机制的建立,以促进整个服务运行管理过程中各个环节的正规有序,实现统合,搞好顶层设计。
二是规范一套大数据环境下公众移动服务建设标准。以公众服务为导向,面向公众服务不同主题、覆盖公众服务各个领域的建设标准。
三是搭建一个大数据环境下公众移动服务统一平台。建立统一的大数据环境下公众移动服务平台,实现服务的统一发布、统一管理、统一服务。
四是培养一支大数据环境下公众移动服务专业队伍。培养和打造一支懂指挥、懂技术、懂管理的大数据建设专业队伍。
参考文献:
[1]Alisa.http://www.jifang360.com/news/2012118/n353841950.html.
[2]http://soft.chinabyte.com/417/12398917.shtml.
[3]周源.大数据的理想与现实.
[4]http://www.jifang360.com/news/2012118/n353841950.html.
作者单位:杭州市人民政府电子政务办公室,杭州 310003
关键词:大数据;公众服务;移动应用
中图分类号:TP31
1 大数据环境下公众移动服务的概述
1.1 大数据的概念和特征
随着信息技术的发展和各个领域、行业对信息技术需求的爆发,“大数据”的概念也被越来越多的用户和受众接受并认可。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
数据体量巨大,数据类型繁多,价值密度低,处理速度快是“大数据”最为明显的几个特征。基于这些特征,大数据技术可以被理解为从各种各样类型的巨量数据中,快速获得有价值信息的技术。通过对海量数据的分析和整理,在大数据时代,我们可以分析更多的数据,而不再依赖于随机采样,借助这样的方式我们可以获得更加科学、更加具备参考性的分析结果。由此看来,大数据时代我们面临的挑战是如何处理数据爆炸带来的海量数据量、结构复杂的数据信息,通过科学的技术和手段获取有价值的信息。
“大数据”的加深,必然导致单一应用服务将向关联应用服务转变。随着电子商务、移动互联网、社交媒体、物联网的飞速发展,以及智能手机、平板电脑和3G网络的普及,来自数据应用服务的挑战将更为突出。
1.2 大数据环境下公众移动服务面对的挑战
迎战大数据,拥有大数据服务产品是基础,进行技术前倾是关键,而主动意识则是前提。一方面将立足过去十余年专注大型通用数据库的基础上进一步提升成熟度及扩展能力;另一方面将重点发展融合吸收,把数据库和新技术融合,将非结构化、半结构化进行融合处理,发展大数据的管理和分析技术。
因此,在大数据环境下建设公众移动服务,最大的挑战并非来自移动信息化技术的瓶颈和移动数据产品的基础水平,而是多年来传统信息化建设模式和数据模式带来的巨大惯性以及固有意识向主动服务意识进行转变的障碍周期。
“大数据趋势下,一切以对大数据的深度应用以及对数据价值的深度挖掘为导向,我们需要改变意识,以迎战大数据时代下的各类应用需要,在大数据环境下拓展面向公众服务内容,遵循数据为王,一切皆为服务的理念。
2 大数据环境下公众移动服务的现状分析
2.1 大数据环境的现状
近年来,在各项信息化建设的方案中总是能够看到两个词语频繁出现:“大数据”和“智慧化”。从当前的信息化发展状况及信息服务所处的阶段来看,“大数据”和“智慧化”的建设方向是存在着巨大交集的。在很大程度上,遵循“大数据”理念进行信息化建设,直接导向“智慧化”结果。
国际电信联盟秘书长哈马德在世博会“信息化与城市发展”主体论坛上提出:“每个城市将会因为信息通信技术的运用,变得更加美好。信息通信技术能够进一步改进公共交流的方式,城市环境将变得更加健康,这一切,就是智慧城市带来的改变。”
我国政府部门也对大数据产业进行了高度的关注,我国政府部门认为“大数据是一个具有国家战略意义的新兴产业”。并在发布的《“十二五”国家战略性新兴产业发展规划》提出支持海量数据存储、处理技术的研发与产业化。
近年来,信息产业发展模式和格局正在发生深刻变革。基于“硬件、软件、终端、内容、服务”的产业链垂直整合,正推动信息产业组织方式深刻变革;大数据、云计算、移动互联网应用等面向服务的商业模式创新,正在开辟新的产业增长点,大数据产业生态环境正在加速构建。
2.2 我国公众移动服务的现状
移动设备的普及和通信服务的发展构成了我国公众移动服务的主要载体。随着我国经济建设的不断深入和现代通信技术的不断发展,第三代移动通信系统在我国已经完成全国范围的网络建设,各种新的行业应用已经日趋成熟。
我国已经规模建设的3G标准主要有三种:WCDMA(中国联通)、CDMA2000 EVDO(中国电信)与TD-SCDMA(中国移动)。第三代移动通信系统的主要特征就是系统可提供丰富多彩的移动多媒体业务。
3 大数据环境下公众移动服务的技术探索
3.1 大数据环境下数据服务主要应用技术探索
大数据环境下,数据服务主要应用技术领域依然是面向需求,或者说,是面向业务和服务的。从应用技术层面来看,大数据环境与之前的传统信息建设的基础模型并不存在翻天覆地的变化,但是在数据逻辑层及数据交互层上,将引入更多的模糊算法模型、数据处理模型以及交互模型。
大数据环境下数据服务的主要应用技术包括了数据采集、数据存取、基础架构、数据处理、统计分析和数据挖掘,基于公众移动服务的独特性,我们可以将“大数据”在此领域下的主要应用技术归纳为以下四个方向:
大数据主要应用技术之一数据采集:随着信息技术的发展,数据的形式与内容已经变的越来越多样,有结构化的数据和非结构化数据如图片数据等。产生数据的来源也是多种多样,例如互联网、移动设备、各类物联网传感器等。如何在这些数据库之间进行合理的负载均衡和分片处理是大数据采集是需要进行深入的思考和设计。
大数据主要应用技术之二数据集成:数据采集只是解决了在大数据环境下对分散在不同设备或系统中的海量数据通过一种标准的方式进行数据获取的方式,但是如果要对这些采集到的海量数据进行有效的分析,应该这些数据进行集成,并做一些清洗和预处理工作。从而提高数据的质量,减少数据的冗余度,集成过程的特点主要是集成的数据量非常大,每秒钟的集成的数据量通常会达到百兆,甚至千兆级别。 大数据主要应用技术之三,数据分析:数据分析主要利用对采集以及集成的海量数据进行简单分析和分类汇总、统计等应用,满足日常相对比较常见的分析需求应用。大数据体系下的数据分析主要特点是分析的数据量大,其对系统资源占用率高,因此在在数据分析时要充分考虑数据存储设备的性能。
大数据主要应用技术之四,数据挖掘:通过对数据结构进行分析与挖掘,借助建立各类数据算法模型,对数据进行深度挖掘,发现数据之间的规律性特征,从而起到预测(Predict)的效果。在数据挖掘应用中比较典型算法有用于聚类算法的Kmeans、用于统计算法的SVM和用于分类算法的NaiveBayes。
一个比较完整的大数据处理至少应该满足以上四个方面的过程。
3.2 大数据环境下公众移动服务的构想
从当前的传统信息化服务模式向大数据环境下公众移动服务模式转变,首先需要将固有服务模式向前倾式数据服务模式进行转变,在完整的建设标准规范下,以现实可行的运行机制进行有序规划。在任何领域下的意识转变,包括信息化服务建设,都需要一个遵循生命周期的过程,而在建设大数据服务的过程中,我们最需要考虑的是以下四个方面的内容:
一是建立一套大数据环境下公众移动服务运行机制。通过这种运行机制的建立,以促进整个服务运行管理过程中各个环节的正规有序,实现统合,搞好顶层设计。
二是规范一套大数据环境下公众移动服务建设标准。以公众服务为导向,面向公众服务不同主题、覆盖公众服务各个领域的建设标准。
三是搭建一个大数据环境下公众移动服务统一平台。建立统一的大数据环境下公众移动服务平台,实现服务的统一发布、统一管理、统一服务。
四是培养一支大数据环境下公众移动服务专业队伍。培养和打造一支懂指挥、懂技术、懂管理的大数据建设专业队伍。
参考文献:
[1]Alisa.http://www.jifang360.com/news/2012118/n353841950.html.
[2]http://soft.chinabyte.com/417/12398917.shtml.
[3]周源.大数据的理想与现实.
[4]http://www.jifang360.com/news/2012118/n353841950.html.
作者单位:杭州市人民政府电子政务办公室,杭州 310003