论文部分内容阅读
摘要：地理实体数据是智慧城市的地理底座，是基础测绘升级的核心，也是实景三维中国建设的重要内容。传统的地理实体数据生产更新主要来源基础地理数据周期性更新任务，缺少直观、科学的需求获取依据。本文通过时空大数据平台的建设实践，探索基于地理实体数据服务访问日志分区域聚类统计地理实体数据访问热度，为量化地理实体更新需求提供一种途径和思路。
关键词：地理实体;时空大数据平台; 日志挖掘
1引言
当前，国家以提高供给侧质量为目标，深化推进供给侧结构改革[1]，扩大有效供给、提高供给结构对需求变化的适应性和灵活性[2]，更好满足社会各界的个性化服务需求，推进经济社会持续健康发展。具体落实到自然资源领域，就是推进基础测绘供给侧结构性改革，本质是推进新型基础测绘建设[3]，为新型智慧城市提供常态化、差别化、个性化的基础测绘产品服务，优化测绘地理信息供给侧保障。
地理实体是现实世界中具有空间位置、公共属性的独立自然或人工地物，在数字空间中实现物理维度上实体城市的精准映射，是基础测绘转型升级的基本特征[4]。面对新一轮科技革命和产业变革加速演进，自然资源部国土测绘司《关于开展新型基础测绘体系试点建设方案》中要求，“推动多尺度数据库向无尺度地理实体要素实体素材库、固定产品提供向按需组装与自动综合服务转变”。推进基础测绘转型升级，归根结底要运用好新技术解决地理实体产品和服务能力。
2地理实体数据更新现状
我国城市信息化经历了数字城市向新型智慧城市演变的进程[5]。在数字城市阶段，原国家测绘局将地理实体数据与地名地址数据、电子地图数据、影像数据、高程数据列入数字城市地理空间框架的数据建设范畴[6]。新型智慧城市阶段，将地理空间框架升级为时空大数据平台，构建多维度的城市信息模型，提供地形级、城市级和部件级实景三维产品及服务，支撑城市的智慧空间治理。
传统的地理实体数据生产是在基础地理数据成果的整合而成[7]。基础地理数据成果生产模式采用的是以图幅为单位分区域地进行数据更新，整体提供周期性、批量式、成片性的数据更新服务。随着数字城市和数字省区建设的逐步加快，数据更新的频率也越来越快，传统地理实体数据生产模式，无法及时提供面向对象的地理实体数据个性化更新的需求[8]。
3基于日志量化地理实体数据更新需求的关键技术
3.1.1日志存储
为提升大数据日志分析的效率，本文利用数据库的分区存储技术，对数据表和索引进行数据分区，将数据表分離在若干不同的表空间上。平台的日志分区包括按时间维度、按接入系统用户维度、按时间和类型复合维度三种不同的分区方法，通过不同的分区方法达到日志压缩，提升检索效率的目的。
1.3.2日志预处理
时空大数据平台的日志中包含了大量的信息，直接对日志数据进行挖掘不仅难度较大，而且计算的开销会非常大。为了避免出现上述问题，本文利用ETL对时空大数据平台的日志数据处理，把日志数据中存在的不相干的和冗余的信息或噪声和不可靠的数据处理掉，保证挖掘的有效性。
3.1.3空间分区
地理实体数据服务的用户访问日志的空间属性因为其延展性与常规大数据分析有所不同，在对日志数据进行拓扑运算分析时需要考虑对象之间的空间位置关系。本文采用的是R树算法，将预设网格和日志数据通过STRtree算法，采用递归网格排序的方式，从下至上，一次一层，建立结构优化的R树[9]，实现将预设网格划分到若干形状不一的空间分区，将日志数据划分成若干数据块，改善空间数据检索和分析的性能。
3.1.4日志聚合
本文采用聚合分析的方式统计地理实体数据服务（WMS服务、WMTS服务）的用户访问热度。首先，将WMTS服务等级、行、列号一致的聚合数据进行聚合。其次，将聚合后的数据与WMS服务同时与预设网格进行叠加分析，汇总到相应的预设网格中。最后，将不同的分区及分区的网格进行拼接，形成具有访问热度值的网格图。网格图采用时空立方体法，沿时间直观地展现地理实体数据服务在不同区域的访问热度变化情况。
4.总结与展望
基于时空日志量化地理实体数据更新需求，可以为城市管理者制定地理实体数据更新计划提供更直观、科学的参考依据。日志挖掘方法融合其他智能需求获取和建模方法[10]，如机器学习、深度学习、自然语言处理等，将极大提升地理实体数据需求的准确性、一致性和完整性，在地理实体数据需求预测、跟踪等方面发挥重要作用。
参考文献
[1]李克强.2020政府工作报告[J].广西城镇建设，2020（05）：8-50.
[2]曲虹.浅谈供给侧结构性改革[J].青年与社会，2019（24）：45-46.
[3]陈建国. 积极推进基础测绘供给侧结构性改革——关于加强新型基础测绘建设的思考[A]. 浙江省测绘与地理信息学会.2016年度浙江省测绘与地理信息学会优秀论文集[C].：浙江省测绘与地理信息学会，2016：5.
[4]刘奇志，肖建华，李鹏鹏，彭清山，王祥，李海亭.国家新型基础测绘体系建设研究[J].城市勘测，2021（02）：5-11.
[5]党安荣. 新型智慧城市建设应围绕三大核心[N]. 中国自然资源报，2021-03-12（007）.
[6]赵跃.智慧城市时空大数据云平台建设探讨[J].测绘与空间地理信息，2021，44（01）：93-95.
[7]刘东琴. 地理实体数据库构建研究[D].山东科技大学，2010.
[8]陈少勤. 浅谈基础地理信息数据库升级对策[A]. 浙江省测绘与地理信息学会.2016年度浙江省测绘与地理信息学会优秀论文集[C].：浙江省测绘与地理信息学会，2016：9.
[9]张明波，陆锋，申排伟，程昌秀.R树家族的演变和发展[J].计算机学报，2005（03）：289-300.
[10]汪烨，陈骏武，夏鑫，姜波.智能需求获取与建模研究综述[J].计算机研究与发展，2021，58（04）：683-705.
作者简介：彭静（1985—），女，汉族，广西钦州人，硕士，工程师，单位：广州城市信息研究所有限公司，主要从事测绘地理信息技术与应用研究。
关键词：地理实体;时空大数据平台; 日志挖掘
1引言
当前，国家以提高供给侧质量为目标，深化推进供给侧结构改革[1]，扩大有效供给、提高供给结构对需求变化的适应性和灵活性[2]，更好满足社会各界的个性化服务需求，推进经济社会持续健康发展。具体落实到自然资源领域，就是推进基础测绘供给侧结构性改革，本质是推进新型基础测绘建设[3]，为新型智慧城市提供常态化、差别化、个性化的基础测绘产品服务，优化测绘地理信息供给侧保障。
地理实体是现实世界中具有空间位置、公共属性的独立自然或人工地物，在数字空间中实现物理维度上实体城市的精准映射，是基础测绘转型升级的基本特征[4]。面对新一轮科技革命和产业变革加速演进，自然资源部国土测绘司《关于开展新型基础测绘体系试点建设方案》中要求，“推动多尺度数据库向无尺度地理实体要素实体素材库、固定产品提供向按需组装与自动综合服务转变”。推进基础测绘转型升级，归根结底要运用好新技术解决地理实体产品和服务能力。
2地理实体数据更新现状
我国城市信息化经历了数字城市向新型智慧城市演变的进程[5]。在数字城市阶段，原国家测绘局将地理实体数据与地名地址数据、电子地图数据、影像数据、高程数据列入数字城市地理空间框架的数据建设范畴[6]。新型智慧城市阶段，将地理空间框架升级为时空大数据平台，构建多维度的城市信息模型，提供地形级、城市级和部件级实景三维产品及服务，支撑城市的智慧空间治理。
传统的地理实体数据生产是在基础地理数据成果的整合而成[7]。基础地理数据成果生产模式采用的是以图幅为单位分区域地进行数据更新，整体提供周期性、批量式、成片性的数据更新服务。随着数字城市和数字省区建设的逐步加快，数据更新的频率也越来越快，传统地理实体数据生产模式，无法及时提供面向对象的地理实体数据个性化更新的需求[8]。
3基于日志量化地理实体数据更新需求的关键技术
3.1.1日志存储
为提升大数据日志分析的效率，本文利用数据库的分区存储技术，对数据表和索引进行数据分区，将数据表分離在若干不同的表空间上。平台的日志分区包括按时间维度、按接入系统用户维度、按时间和类型复合维度三种不同的分区方法，通过不同的分区方法达到日志压缩，提升检索效率的目的。
1.3.2日志预处理
时空大数据平台的日志中包含了大量的信息，直接对日志数据进行挖掘不仅难度较大，而且计算的开销会非常大。为了避免出现上述问题，本文利用ETL对时空大数据平台的日志数据处理，把日志数据中存在的不相干的和冗余的信息或噪声和不可靠的数据处理掉，保证挖掘的有效性。
3.1.3空间分区
地理实体数据服务的用户访问日志的空间属性因为其延展性与常规大数据分析有所不同，在对日志数据进行拓扑运算分析时需要考虑对象之间的空间位置关系。本文采用的是R树算法，将预设网格和日志数据通过STRtree算法，采用递归网格排序的方式，从下至上，一次一层，建立结构优化的R树[9]，实现将预设网格划分到若干形状不一的空间分区，将日志数据划分成若干数据块，改善空间数据检索和分析的性能。
3.1.4日志聚合
本文采用聚合分析的方式统计地理实体数据服务（WMS服务、WMTS服务）的用户访问热度。首先，将WMTS服务等级、行、列号一致的聚合数据进行聚合。其次，将聚合后的数据与WMS服务同时与预设网格进行叠加分析，汇总到相应的预设网格中。最后，将不同的分区及分区的网格进行拼接，形成具有访问热度值的网格图。网格图采用时空立方体法，沿时间直观地展现地理实体数据服务在不同区域的访问热度变化情况。
4.总结与展望
基于时空日志量化地理实体数据更新需求，可以为城市管理者制定地理实体数据更新计划提供更直观、科学的参考依据。日志挖掘方法融合其他智能需求获取和建模方法[10]，如机器学习、深度学习、自然语言处理等，将极大提升地理实体数据需求的准确性、一致性和完整性，在地理实体数据需求预测、跟踪等方面发挥重要作用。
参考文献
[1]李克强.2020政府工作报告[J].广西城镇建设，2020（05）：8-50.
[2]曲虹.浅谈供给侧结构性改革[J].青年与社会，2019（24）：45-46.
[3]陈建国. 积极推进基础测绘供给侧结构性改革——关于加强新型基础测绘建设的思考[A]. 浙江省测绘与地理信息学会.2016年度浙江省测绘与地理信息学会优秀论文集[C].：浙江省测绘与地理信息学会，2016：5.
[4]刘奇志，肖建华，李鹏鹏，彭清山，王祥，李海亭.国家新型基础测绘体系建设研究[J].城市勘测，2021（02）：5-11.
[5]党安荣. 新型智慧城市建设应围绕三大核心[N]. 中国自然资源报，2021-03-12（007）.
[6]赵跃.智慧城市时空大数据云平台建设探讨[J].测绘与空间地理信息，2021，44（01）：93-95.
[7]刘东琴. 地理实体数据库构建研究[D].山东科技大学，2010.
[8]陈少勤. 浅谈基础地理信息数据库升级对策[A]. 浙江省测绘与地理信息学会.2016年度浙江省测绘与地理信息学会优秀论文集[C].：浙江省测绘与地理信息学会，2016：9.
[9]张明波，陆锋，申排伟，程昌秀.R树家族的演变和发展[J].计算机学报，2005（03）：289-300.
[10]汪烨，陈骏武，夏鑫，姜波.智能需求获取与建模研究综述[J].计算机研究与发展，2021，58（04）：683-705.
作者简介：彭静（1985—），女，汉族，广西钦州人，硕士，工程师，单位：广州城市信息研究所有限公司，主要从事测绘地理信息技术与应用研究。