某金融系统海量数据并行处理架构优化设计与实现

来源 :中国科学院大学(工程管理与信息技术学院) | 被引量 : 3次 | 上传用户:lindan1982
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在许多行业和机构中,大中型数据库和数据仓库的大批量数据集快速批量处理有广泛的应用需求。如何实现海量数据快速交互的批量处理是管理信息系统所面临日益突出的问题,也是数据集中工程中急需解决的关键问题。海量信息技术架构迫切需要具有动态的、可伸缩的存储计算模式,才能实现快速响应的机制。本文研究了业界在海量数据处理方面中的实践,包括基于MPP架构的数据库、集群技术、虚拟化技术等,在此基础上,对某金融系统在数据处理效率方面的不足进行了认真分析,发现主要原因是由于数据架构设计存在缺陷,造成无法进行大规模数据并行处理,影响了系统的可扩展性和处理效率。同时在IT基础架构层面采用的也是传统技术,服务器的并行扩展能力受到限制,系统整体处理效率无法满足业务发展的需要。在问题分析的基础上,结合业界先进实践,本文通过对数据的合理划分和规划,引入多通道、流水线处理的思路,对某金融系统的数据架构重新进行了规划设计,在逻辑层面解决了某金融系统海量数据处理效率较低的问题。在IT基础架构层面,引入云计算技术,规划计算资源池与存储资源池,实现了资源的灵活配置,为某金融系统实现海量数据处理的高效性和灵活性奠定了基础。最后,为了验证解决方案的有效性,开发了原型系统,并搭建了采用基于MPP架构的GreenPlum数据库、WAS集群、IBM虚拟化技术的测试环境进行测试。测试结果表明,上述解决方案较好的解决了目前某金融系统在海量数据处理效率方面的不足,并具有很强的扩展性,完全达到预期。本文在研究海量数据处理技术当中,通过对数据进行合理划分,引入多通道、流水线处理的思路,结合云计算技术、基于MPP架构的数据库、集群技术,有效解决某金融系统存在的海量数据处理效率问题,并构建了具有可扩展、可配置、可伸缩的技术支撑平台,将为某金融系统各种业务的创新和发展提供强大技术保障。
其他文献
目的:小儿肠系膜淋巴结炎归属为中医腹痛范畴,当前还没有规范统一的诊断和医治方法,结合小儿生理病理特点和本病发展变化规律,自拟活血散结汤治疗小儿肠系膜淋巴结炎(气滞血瘀证),观
随着计算机技术的发展,各种汽车功能设备日益增多,驾驶员需要在驾驶的同时进行操作。传统的键盘输入方式已经不能满足驾驶员随时方便的进行操作的需要,这需要一种新的人机通
目前,我国民航的快速发展给相对滞后的空管系统服务提出了更高的要求,导致空管系统运行风险逐渐增加,运行安全受到严峻挑战。因此,如何衡量空管运行安全并对其运行风险进行评价显
中国古代文学思想郁积着浓厚的复古情结。复古主义者在批判“近今”、“近代”奇技百出、竞新弄巧的文化风习和刻意为文、饾钉破碎的创作机制背后,体现出一定深度的终极人文
目的探讨麦粒灸治疗阿尔茨海默病(AD)的相关机制及对小鼠脑内胶质纤维酸性蛋白(GFAP)与b-淀粉样蛋白1-42(Aβ1-42)斑块的共定位的影响。方法 PCR法进行小鼠基因型的鉴定,将1.
<正>药品是医院开展医疗活动的重要物质基础,是医院存货的重要组成部分,也是医院业务收入的主要来源,一般医院的药品收入占医疗总收入的35%~50%左右,所以做好医院药品审计意义
埋地管道在受到管道上方土壤竖向土压力作用下,管道截面会发生变形。在管道变形超过一定范围时,管道就会发生失效。本文以非开挖管道施工方式为例,计算管道所受到竖向土压力
本文根据闸墩整体工作条件,将闸墩分为墩颈上游闸墩Ⅰ和墩颈下游闸墩Ⅱ两部分;按墩颈部位共轭点变位相容条件,求出上、下游闸墩的水压力分配系数α1和α2;沿墩高绘制y~α1和y~
热熔压敏胶(HMPSA)具有不含有机溶剂、利于环保、涂布速度快、自动化程度高、生产率高、贮存时间长、制品成本低等优点,应用非常广泛。但是传统的SBS、SIS热熔压敏胶耐热性能