大规模异构数据即时整合系统的研究与实现

被引量 : 0次 | 上传用户:EDI0920
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据分析技术的日渐成熟,大数据所蕴含的巨大价值已经引起了很多行业的重视。例如,企业可以通过分析某一领域的大量数据为其决策提供支持。大部分决策分析系统往往涉及到大量不同来源的数据,这些不同来源的数据集不仅数据量大、增长迅速,而且格式多样。因此,分析者希望能集成所有不同来源的数据集,通过统一的数据访问接口获取数据。本文以大数据在医疗行业的应用为背景,研究并实现了大规模异构数据即时整合系统。该系统主要针对多源异构大数据,经过清洗转换,屏蔽底层各数据源之间的差异,为上层应用提供统一标准的数据访问接口。传统的异构大数据整合方法,需要花费几个月甚至半年来定义标准化数据接口,之后再将数据批量转换为标准格式,并且一旦标准固定后,无法侦测到新的数据类型。本文不同于传统方法,支持增量式数据采集,无需事先定义标准化接口,而是根据应用需求,通过增量式数据映射管理平台,根据用户的需求不断更新对原始数据的整合规则,从而实现自适应完善数据标准。本文给出了大规模异构数据即时整合系统的整体设计以及主要功能模块。系统由数据实时采集子系统和增量式映射管理平台两部分组成:数据实时采集子系统利用前置机,实时获取各异构数据源中最新的数据变更;增量式映射管理平台是本文研究的核心部分,本文详细介绍了模式匹配模块中属性相似度计算策略,并结合实例展示了增量式属性匹配流程。之后,本文给出了增量式异构数据整合流程,并提出相应的效率优化策略。最后本文给出了大量实验,验证了模式匹配模块的有效性,测试了增量式异构数据整合流程的性能,表明本文提出的异构大数据即时整合系统,具有非常实用的价值。
其他文献
在影音娱乐产业高度繁荣和科学技术以及网络高度发达的今天,表演者权利的维护和其合法利益的保障变得越来越难以控制,肆意复制和发行表演者的表演作品从而侵害表演者合法权益
新一轮的土地制度改革已进行到创新阶段,地方及中央政府作为制度供给方的态度正在由限制约束转变为探索推动。用制度变迁理论的分析框架,理清我国集体土地制度运行的内在规律
<正>在小学数学教学过程中,合作如同一座桥梁,联系着学生。经过教学实践表明,合作是一种高效率的学习方式,在教学课堂上引导学生进行合作学习,能够促进学习效率的提升,优化课
<正>近年来,公众舆论、媒体对外交决策的影响日益突出,公众舆论越来越成为影响政府决策和行为的重要因素,媒体在塑造公众舆论、对外施加影响方面发挥着越来越大的作用。公众
随着我国信息化建设的不断推进,网络变得越来越触手可得,这带动了一大批购物网站的跳跃式发展。网络购物打破了面对面交易的桎梏,极大的促进了商品的流通。但网络购物无法真
<正>尔冬升以影片《我是路人甲》书写了小人物的悲欢离合,这在当下浮躁的电影环境中显得难能可贵。客观地说,影片《我是路人甲》确实不够"好看",比起许多堆砌明星的商业影片,
会议
盾尾密封是盾构形成密封式结构的关键点之一。施工中盾尾密封失效会造成盾尾漏水漏浆,严重影响盾构掘进,甚至可能造成地面沉陷、水淹隧道等事故。本文根据多年盾构施工的实践
随着现代科学技术的飞速发展和人类环保意识的加强,具有优良性能的高居里温度的铌酸盐系无铅压电陶瓷已成为当前研究的热点。对国内外铌酸盐系无铅压电陶瓷的研究工作进行介绍
在对国内外关于FDI与城乡居民收入分配差距的相关文献进行了综述的基础上,就FDI对城乡居民收入分配差距的影响因素从教育、政府政策、开放经济等方面作了具体分析;并应用格兰
针对房地产经济周期波动现象,首先分析了政府行为、投资、供求关系三个主要影响因素,在此基础上提出以大数据为基础的有效应对措施,为后续更深层次的房地产周期分析提供理论