智慧城市中数据服务平台的研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:kb8iii
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在全球化和城市化发展的进程中,智慧城市成为我国城镇化建设中的重要战略。数据服务平台是某城市智慧城区建设中的重要组成部分,存储着全区城市管理的基础数据,是决策者进行城市管理和指挥调度的信息资源服务平台,城市运行和管理的关键,任何软硬件故障导致的服务不可用都是一场灾难。现全区各个职能部门系统中不但存储着海量的数据资源,并且数据种类繁杂,格式多样,因此数据服务平台必须针对各业务系统中现有数据的结构和特点,建立一套合理的数据存储与管理方案,以结构化的方式分类、管理和交换数据资源。研究一套高可用可扩展的平台架构,保证平台数据服务的持续可用。核心要害数据的安全以及平台自身的安全防护是确保全区各职能部门有效运行管理的基础之一,因此数据服务平台还必须在数据安全方面加强防范。本文通过反向工程技术手段构建数据模型,在对数据模型进行深入分析的基础之上,为所有使用数据服务平台的用户建立了一套合理,统一的元数据标准规范。数据服务平台采用MySQL集群和分布式文件系统HDFS相结合的存储方式对所采集的各类数据资源按照数据类型、数据作用域等,严格依据元数据规范进行分类归档存储。平台使用Zookeeper为整个Hadoop集群提供分布式协调服务,使用Redis在存储层和应用层之间做缓存,为了挖掘数据中所蕴藏的巨大价值,数据服务平台利用Hive和Spark向平台用户提供更高效的离线计算和在线实时分析处理能力,由YARN对集群中的资源进行管理与调控,最后采用Zabbix对整个线上环境中的节点和服务进行监控。为了提高数据服务平台的可用性和可扩展性,本文采用HAProxy,Keepalived,Mycat和MySQL主从半同步复制技术手段实现MySQL集群的高可用,采用共享存储系统和Zookeeper实现Hadoop集群的高可用。借鉴SOA架构的主要思想设计出数据服务平台可扩展的分层模型,各层服务之间通过设计良好的接口相互调用,通过RESTful API向所有数据资源服务提供统一的访问界面。遵循安全性原则本文使用防火墙,入侵检测设备,网闸,安全审计,专线等网络安全手段加强网络控制,采用精细化服务授权和集成第三方认证系统Kerberos的方式对Hadoop集群进行安全控制,通过统一认证中心提供的身份认证和基于资源的访问授权,从技术和规则两个方面,进一步加强数据服务平台中核心数据资源的安全性。通过对本文研究的数据服务平台存储与管理方案、高可用可扩展平台架构以及平台的安全方案进行测试验证,结果充分证实了本文所有工作方案的合理性和有效性。数据服务平台能够对各类繁杂数据进行准确分类和存储,同时能够以灵活的方式被各职能系统高效使用,打破现有系统各自为政的数据孤岛现状,促进数据资源的有效融合,为全区各职能部门日常业务的展开和城区惠民服务建设提供高效可靠安全的数据服务。
其他文献
小夸径砖薄壳桥于一九七五年在我省遂平县试建成功,相继又在正阳县兴建一座,经过几年的通车通水实践证明,它是一种很好的农桥型式,但近几年来并未引起重视而加之推广。试建
西双版纳跨境民族在对外开放中具有重要的地位和作用。本文概述了西双版纳跨境民族从贫穷落后到富裕进步的历史巨变,论述了制约西双版纳跨境民族发展的主要因素,提出了发展西双
1953年1月23日,在党中央、国务院的关怀和省委、省政府的领导下。云南省第一个州级民族自治地方政府——西双版纳傣族自治区宣告成立。从此,西双版纳这个美丽神奇的地方翻开了
习主席在党的十八届三中全会上,就设立国家安全委员会的必要性强调指出:“当前,我国面临对外维护国家主权、安全、发展利益,对内维护政治安全和社会稳定的双重压力,各种可以
本文主要分析自新世纪以来的中国新一轮经济增长所形成的经济波动的内在机制,并结合当前国际市场波动对中国经济的影响,对中国宏观经济政策进行深入探讨。
宏观经济学中家庭收入决定和消费函数与家庭可支配收入和平均消费倾向成比例,并且消费函数被认为受生命周期假定和持久收入假定理论的影响。中国传统的计划经济消费函数主要
经济体制过渡必然是制度革新,而不是制度替代的过程,在这一点上渐进式的改革方式与制度革新的思路相符合。作者以企业间的产权关系来说明过渡经济进行改革的结果必然会产生一种
高教领域蕴藏着大量的物质资本和人力资本存量,但缺少必要的启动资金,如果能用发展产业的方式重新配置这部分教育资源,市场供给的潜力是相当大的。我国想赶超发达国家,必须在人力
以设计和实现梯级水电站调度信息移动查询系统为目标,分析企业梯级水电站调度系统需求,整合不同应用系统的调度信息,以Web App应用方式进行设计,通过需求分析、系统设计、系
新《课标》增加了条件概率的内容,一般地,设A,B为两个事件,且P(A)>0,称P(B|A)=P(AB)/P(A)为在事件A发生的条件下,事件B发生的条件概率(conditional probability). In the ne