论文部分内容阅读
[摘 要]为了加强国土资源的有效利用和合理开发,为国民经济的发展提供宏观调控的决策依據,在国土信息化建设应用中,将国土相关知识与大数据技术相结合,为国土决策、国家基础科学研究和前沿研究提供有益的技术支撑,为相关行业提供基础数据服务,也能为国家区域发展规划、宏观调控和决策提供参考。本文结合国土大数据挖掘分析平台,介绍大数据在国土领域的挖掘分析应用。
[关键词]大数据云平台国土资源挖掘分析
中图分类号:X322 文献标识码:A 文章编号:1009-914X(2017)21-0369-01
1.国土资源大数据是国土资源信息化的发展趋势
国土资源是国民赖以生存的基础和宝贵财富,也是国民经济可持续发展的重要保障,是一种不可再生的资源。为了加强国土资源的有效利用和合理开发,为国民经济的发展提供宏观调控的决策依据,各级国土资源管理部门正在大力开展国土资源信息化建设,借助现代化的信息技术手段实现对国土资源信息的快速、准确、科学、有效的管理。
大数据作为一门新兴技术,将在国土领域得到更进一步的应用。在国土信息化建设应用中,将国土相关知识与大数据技术相结合,对国土资源大数据进行科学分析与利用,不仅能为国土决策、国家基础科学研究和前沿研究提供有益的技术支撑,为相关行业提供基础数据服务,也能为国家区域发展规划、宏观调控和决策提供参考。
近年来,国土资源管理工作不断深化,国土资源信息化建设步伐加快,在国土政务管理信息化、信息服务社会化、调查评价信息化、基础数据库和信息化基础建设等方面取得了显著成效,积累了大量数据资源和应用系统。但对于国土资源部在宏观决策,履行参与国家宏观调控重要职能方面的支撑力度仍存在一些不足,主要表现在以下几方面:
(1)数据复杂多样,融合困难,难以全面高效分析
国土信息化经过多年发展,已积累了海量数据及大量信息化系统,不仅包括影像、矢量、土地利用现状等空间数据,还包括大量业务数据。从数据内容来看,包括土地、矿产、海洋、地质、基础测绘等多个专题数据,在互联网时代还包括丰富的网络舆情数据。从数据载体和表现形式来看,有纸质台账、扫描文件、文字资料、图集图册,存在于业务系统中的国土资源基础数据和电子政务数据。海量数据来自国土部本级、各省级国土部门,也有大量相关数据来自于其他业务部门,由于各个部门职能、业务领域不同,导致数据标准不一。数据标准不一、复杂多样,融合困难。针对某一具体问题进行分析时,难以基于全部相关数据进行全面高效分析,分析结果可信度低。
(2)数据分析利用不足,决策支持能力弱
目前国土资源数据的分析利用主要以图表结合的分析报告形式呈现,主要面向宏观、固化的分析应用场景,分析方法和分析结果展现形式单一,例如国土资源年度/季度统计数据、矿产资源年度报告、地价监测报告、海洋环境公报等。随着国土信息化工作逐步深入,国土资源信息逐步扩大开放,国土资源部参与国家宏观调控的职能日益凸显,现有的分析内容、分析方式以及展现形式难以满足国土资源部将面临的更多、更复杂、更细化的分析决策场景。
综上所述,需要依托大数据决策支持系统,全面提高数据关联融合能力,采用灵活的数据分析挖掘手段,以丰富的分析结果进行数据展现,从而加快国土资源信息化建设,增强国土资源数据分析决策能力。
2.技术路线
采用SOA技术、分布式存储技术、非结构化数据库NoSQL技术、规则引擎技术、流程搭建技术、并行计算技术等,建设统一管理海量空间数据和业务数据的数据中心。数据中心在统一的架构下完成空间数据和业务数据的管理;提供统一的、流程化的数据抽取、清洗、转换、关联、加载等空间数据和业务数据融合功能;提供统一的、流程化的高性能空间数据和业务数据一体化挖掘分析服务。
采用数据智能探测自动关联技术、自定义模型搭建技术,基于各类基础算子,通过规则引擎的管理,进行灵活组合,通过不同的组合构建模型,结合对应的数据得到相应的处理结果、分析内容。在国土资源应用不断深入过程中,可不断扩展基础算子满足新需求。将模型的构造过程结合实际需求制定成一个流程,流程的每一个步骤可动态增加或者删除,可方便地进行模型修改和优化,而不用重新构建,对所有的规则构建过程进行流程化动态管理,不仅给用户模型构建带来方便,而且使模型的优化更为便捷。
3.解决思路
构建国土资源大数据决策支持系统,需要从以下三个方面着手:
(1)构建国土资源大数据中心
构建国土资源大数据中心,在不影响已有业务系统正常运行的前提下,将分散异构、离散甚至互联网的各类数据进行汇聚和融合,并实现数据同步更新,为国土资源数据分析決策的权威性和时效性奠定数据基础。
(2)构建多级分析指标体系
针对国土资源形式分析、国土资源综合监管、国土资源应急指挥、国土资源辅助规划、机器学习智能分析等内容构建多级分析指标体系,快速响应复杂多变的国土资源分析需求(图1)。
(3)构建丰富的分析结果展示模板
系统提供丰富的指标展示模板,提供灵活可定制的个性化展示解决方案。支持统计图表展示、散点图、热点图、趋势图等图形展示。针对领导的管理需要、个人偏好或针对具体业务场景,系统提供指标信息的定制化展示。
4.结语
以大数据中心为基础,灵活的分析挖掘模型为手段,构建国土资源大数据决策支持系统,可实现国土不同专题数据的关联融合、业务数据的快速空间化;满足各应用场景灵活多变的分析需求,同时提供个性化定制的可视化解决方案,为政府部门辅助决策提供可视化平台及数据支撑,使国土资源数据资源体系得到较大丰富与完善,基于数据共享的国土资源治理能力不断提高,基于数据开放的公共服务能力全面提升,促进国土资源大数据在资源监管和公共服务等领域的广泛应用。
[关键词]大数据云平台国土资源挖掘分析
中图分类号:X322 文献标识码:A 文章编号:1009-914X(2017)21-0369-01
1.国土资源大数据是国土资源信息化的发展趋势
国土资源是国民赖以生存的基础和宝贵财富,也是国民经济可持续发展的重要保障,是一种不可再生的资源。为了加强国土资源的有效利用和合理开发,为国民经济的发展提供宏观调控的决策依据,各级国土资源管理部门正在大力开展国土资源信息化建设,借助现代化的信息技术手段实现对国土资源信息的快速、准确、科学、有效的管理。
大数据作为一门新兴技术,将在国土领域得到更进一步的应用。在国土信息化建设应用中,将国土相关知识与大数据技术相结合,对国土资源大数据进行科学分析与利用,不仅能为国土决策、国家基础科学研究和前沿研究提供有益的技术支撑,为相关行业提供基础数据服务,也能为国家区域发展规划、宏观调控和决策提供参考。
近年来,国土资源管理工作不断深化,国土资源信息化建设步伐加快,在国土政务管理信息化、信息服务社会化、调查评价信息化、基础数据库和信息化基础建设等方面取得了显著成效,积累了大量数据资源和应用系统。但对于国土资源部在宏观决策,履行参与国家宏观调控重要职能方面的支撑力度仍存在一些不足,主要表现在以下几方面:
(1)数据复杂多样,融合困难,难以全面高效分析
国土信息化经过多年发展,已积累了海量数据及大量信息化系统,不仅包括影像、矢量、土地利用现状等空间数据,还包括大量业务数据。从数据内容来看,包括土地、矿产、海洋、地质、基础测绘等多个专题数据,在互联网时代还包括丰富的网络舆情数据。从数据载体和表现形式来看,有纸质台账、扫描文件、文字资料、图集图册,存在于业务系统中的国土资源基础数据和电子政务数据。海量数据来自国土部本级、各省级国土部门,也有大量相关数据来自于其他业务部门,由于各个部门职能、业务领域不同,导致数据标准不一。数据标准不一、复杂多样,融合困难。针对某一具体问题进行分析时,难以基于全部相关数据进行全面高效分析,分析结果可信度低。
(2)数据分析利用不足,决策支持能力弱
目前国土资源数据的分析利用主要以图表结合的分析报告形式呈现,主要面向宏观、固化的分析应用场景,分析方法和分析结果展现形式单一,例如国土资源年度/季度统计数据、矿产资源年度报告、地价监测报告、海洋环境公报等。随着国土信息化工作逐步深入,国土资源信息逐步扩大开放,国土资源部参与国家宏观调控的职能日益凸显,现有的分析内容、分析方式以及展现形式难以满足国土资源部将面临的更多、更复杂、更细化的分析决策场景。
综上所述,需要依托大数据决策支持系统,全面提高数据关联融合能力,采用灵活的数据分析挖掘手段,以丰富的分析结果进行数据展现,从而加快国土资源信息化建设,增强国土资源数据分析决策能力。
2.技术路线
采用SOA技术、分布式存储技术、非结构化数据库NoSQL技术、规则引擎技术、流程搭建技术、并行计算技术等,建设统一管理海量空间数据和业务数据的数据中心。数据中心在统一的架构下完成空间数据和业务数据的管理;提供统一的、流程化的数据抽取、清洗、转换、关联、加载等空间数据和业务数据融合功能;提供统一的、流程化的高性能空间数据和业务数据一体化挖掘分析服务。
采用数据智能探测自动关联技术、自定义模型搭建技术,基于各类基础算子,通过规则引擎的管理,进行灵活组合,通过不同的组合构建模型,结合对应的数据得到相应的处理结果、分析内容。在国土资源应用不断深入过程中,可不断扩展基础算子满足新需求。将模型的构造过程结合实际需求制定成一个流程,流程的每一个步骤可动态增加或者删除,可方便地进行模型修改和优化,而不用重新构建,对所有的规则构建过程进行流程化动态管理,不仅给用户模型构建带来方便,而且使模型的优化更为便捷。
3.解决思路
构建国土资源大数据决策支持系统,需要从以下三个方面着手:
(1)构建国土资源大数据中心
构建国土资源大数据中心,在不影响已有业务系统正常运行的前提下,将分散异构、离散甚至互联网的各类数据进行汇聚和融合,并实现数据同步更新,为国土资源数据分析決策的权威性和时效性奠定数据基础。
(2)构建多级分析指标体系
针对国土资源形式分析、国土资源综合监管、国土资源应急指挥、国土资源辅助规划、机器学习智能分析等内容构建多级分析指标体系,快速响应复杂多变的国土资源分析需求(图1)。
(3)构建丰富的分析结果展示模板
系统提供丰富的指标展示模板,提供灵活可定制的个性化展示解决方案。支持统计图表展示、散点图、热点图、趋势图等图形展示。针对领导的管理需要、个人偏好或针对具体业务场景,系统提供指标信息的定制化展示。
4.结语
以大数据中心为基础,灵活的分析挖掘模型为手段,构建国土资源大数据决策支持系统,可实现国土不同专题数据的关联融合、业务数据的快速空间化;满足各应用场景灵活多变的分析需求,同时提供个性化定制的可视化解决方案,为政府部门辅助决策提供可视化平台及数据支撑,使国土资源数据资源体系得到较大丰富与完善,基于数据共享的国土资源治理能力不断提高,基于数据开放的公共服务能力全面提升,促进国土资源大数据在资源监管和公共服务等领域的广泛应用。