论文部分内容阅读
在全球化和城市化发展的进程中,智慧城市成为我国城镇化建设中的重要战略。数据服务平台是某城市智慧城区建设中的重要组成部分,存储着全区城市管理的基础数据,是决策者进行城市管理和指挥调度的信息资源服务平台,城市运行和管理的关键,任何软硬件故障导致的服务不可用都是一场灾难。现全区各个职能部门系统中不但存储着海量的数据资源,并且数据种类繁杂,格式多样,因此数据服务平台必须针对各业务系统中现有数据的结构和特点,建立一套合理的数据存储与管理方案,以结构化的方式分类、管理和交换数据资源。研究一套高可用可扩展的平台架构,保证平台数据服务的持续可用。核心要害数据的安全以及平台自身的安全防护是确保全区各职能部门有效运行管理的基础之一,因此数据服务平台还必须在数据安全方面加强防范。本文通过反向工程技术手段构建数据模型,在对数据模型进行深入分析的基础之上,为所有使用数据服务平台的用户建立了一套合理,统一的元数据标准规范。数据服务平台采用MySQL集群和分布式文件系统HDFS相结合的存储方式对所采集的各类数据资源按照数据类型、数据作用域等,严格依据元数据规范进行分类归档存储。平台使用Zookeeper为整个Hadoop集群提供分布式协调服务,使用Redis在存储层和应用层之间做缓存,为了挖掘数据中所蕴藏的巨大价值,数据服务平台利用Hive和Spark向平台用户提供更高效的离线计算和在线实时分析处理能力,由YARN对集群中的资源进行管理与调控,最后采用Zabbix对整个线上环境中的节点和服务进行监控。为了提高数据服务平台的可用性和可扩展性,本文采用HAProxy,Keepalived,Mycat和MySQL主从半同步复制技术手段实现MySQL集群的高可用,采用共享存储系统和Zookeeper实现Hadoop集群的高可用。借鉴SOA架构的主要思想设计出数据服务平台可扩展的分层模型,各层服务之间通过设计良好的接口相互调用,通过RESTful API向所有数据资源服务提供统一的访问界面。遵循安全性原则本文使用防火墙,入侵检测设备,网闸,安全审计,专线等网络安全手段加强网络控制,采用精细化服务授权和集成第三方认证系统Kerberos的方式对Hadoop集群进行安全控制,通过统一认证中心提供的身份认证和基于资源的访问授权,从技术和规则两个方面,进一步加强数据服务平台中核心数据资源的安全性。通过对本文研究的数据服务平台存储与管理方案、高可用可扩展平台架构以及平台的安全方案进行测试验证,结果充分证实了本文所有工作方案的合理性和有效性。数据服务平台能够对各类繁杂数据进行准确分类和存储,同时能够以灵活的方式被各职能系统高效使用,打破现有系统各自为政的数据孤岛现状,促进数据资源的有效融合,为全区各职能部门日常业务的展开和城区惠民服务建设提供高效可靠安全的数据服务。