MQ多线程处理算法实现大数据处理的设计及实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:yinzheng1974
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,银行业的传统集中式开发部署模式已经无法适应于现代大数据量数据加工及存储,再加上银行对静态大数据进行利用的浓烈兴趣,行业内智能化、自动化、大数据化的趋势使金融系统迎来了转型升级的时期,各行也积极开展大数据及智能化平台。同时由于数据量的增长,对于消息中间件的要求也在不断提高,如何能提高可靠性、处理效率,使系统间信息传输更加稳定、快速,是金融系统对消息中间件的主要要求。作为银行业大数据量数据的一种,征信信息近些年已经越来越受到金融及银行业的关注,它贯穿于客户的整个业务周期,对客户征信信息的监控可以有效的控制风险。据在银行业内的调查,银行很多业务如个贷、信用卡、客户识别、公司授信等均需要使用征信信息进行客户的风险把控。面对大数据量的征信信息需求,如何能够正确、快速的处理、存储并且有效的使用这些征信信息,是银行业在这方面急需解决的课题。本文从大数据征信信息的处理、存储及使用入手,以银行对征信信息管理和使用的实际业务需求出发,探讨在大数据环境下金融系统对数据处理、中间件消息传递以及数据挖掘的方法。提出采用分布式技术提高系统的可靠性,并运用其高扩展性解决对大数据的加工,使用IBM WebSphere Message Queue(以下简称MQ)集群及多实例技术提高消息中间件在大数据传输时的可靠性及易扩展性,并基于数据挖掘技术提出针对征信指标的智能校准算法。根据以上研究内容设计并实现了基于MQ多线程处理算法的征信信息管理系统。1.本文对现有金融系统在大数据环境下的现状及可能存在的问题进行分析,对集中式开发部署以及单实例消息中间件的不足进行阐述,提出了运用分布式技术的高可扩展性解决金融系统大数据加工的问题,运用MQ消息中间件的集群及多实例技术提高消息中间件在大数据传输时的传输稳定性并运用其易扩展性配合分布式技术。同时通过对现有征信信息的运用场景进行分析,研究对大数据征信信息的数据挖掘技术,提出一种通过聚类算法运用征信信息对征信指标进行校准的大数据运用场景。2.本文通过对征信信息实际管理及运用业务场景进行调研,对收集的需求进行分析,整理并划分了基于MQ多线程处理算法的征信信息管理系统需要具备的功能,并根据系统技术特点设计了系统的整体架构。对征信信息管理系统分布式处理方法、MQ消息中间件的集群及多实例技术、以及征信指标智能校准算法的设计进行详细阐述,并对系统的数据结构及报文接口进行了设计。3.本文在需求分析及总体设计的基础上,对征信信息管理系统的各功能模块以及MQ消息中间件的集群技术进行详细设计及实现,并阐述各模块的具体实现方式。4.本文模拟实际的业务场景,对MQ传输效率进行测试,对征信信息管理系统的综合性能进行评估。并使用实际业务数据,验证智能校准算法的有效性。最终通过交由实际业务人员进行使用并收集反馈,对系统整体使用效果进行分析。本文通过对面向大数据的征信信息管理系统的设计与实现,为征信信息搭建了一个集处理、存储、管控与智能优化的平台,希望能为金融及银行业在征信信息使用及管理方面提供帮助。
其他文献
目的:评价低分子量肝素与奥扎格雷纳联合用药,对进展性脑梗死的疗效观察。方法:应用上述两种药物治疗进展性脑梗死,与葛根素治疗对照,观察两组患者治疗前后的临床疗效及血液流变学
在全球化和互联网经济竞争日益激烈的时代,企业如果想在激烈的竞争中长久经营发展,就必须向其内在动力进行不断创新与挖掘,而企业最优质的、最为重要的内在动力就是人力资源。因为无论是科技的创新进步、迭代换新还是管理方式的日益发展最核心的因素就是人的因素。进入21世纪尤其是近几年,新生代员工已逐渐在企业担任越来越重要的岗位,成为了职场的生力军。然而,新生代员工的忠诚度却与其重要性背道而驰,频繁的离职、应付差
随着矿井开采深度的增加,巷道底鼓现象已成为软岩巷道围岩变形和破坏的主要特征之一。通过分析赵固一矿东翼轨道大巷底鼓原因,提出了高强度高延伸率锚网索喷+全封闭U型钢支架+
预测阅读法是小学语文教学中,发展学生智力、训练学生综合能力的有效途径,可以提升学生识字、认读、自主思考和写作等多方面的能力。以部编教材三上课外阅读指导课为例,教师
据各地上报的文物案件统计,2004年全国发生文物被盗案件(不含盗掘古墓,走私文物,倒卖文物等案件)40起,其中未遂案件4起,已破案件7起,丢失文物222件。发案次数比2003年上升81.8%,丢失文
期刊
药物治疗是当今治疗精神疾病的主要方法之一,抗精神病药物治疗精神病疗效高,使用较安全、方便,现已成为治疗精神疾病的主要手段。它是一种简单、易行、效果肯定的治疗手段,能有效
一、紫云英播种(一)种子质量要求紫云英种子必须符合国家标准《绿肥种子》(GB8080—2010)中规定的大田用种质量标准,即纯度不低于96.0%、净度不低于97.0%、发芽率不低于80%、含水量不高
春节作为众所周知的岁时节日,所承载的社会意义和社会功能是至关重要的,同时也记录和传承着中国民俗文化。历经时间的演变延续至今形成了众多与之相关的节日习俗,其形式丰富多样。随着社会结构的变化,人们对于春节情感依赖降低,对于春节传统习俗的了解与之前相比愈发匮乏,导致近些年春节的节日氛围淡薄,习俗仪式感的缺失是导致春节年味变淡的重要原因之一。基于这种现状,与春节文化情感特征相关的产品在传承和创新方面显得尤
化肥的施用是农业获得高产的重要手段,为农业带来巨大的经济效益。随着生产的发展,生物菌肥日益受到重视。生物菌肥是含有微生物的制品,可改善土壤性状及肥力。提高肥料利用率。
医院感染是指住院患者在医院内获得的感染,包括在住院期间发生的感染和在医院内获得并于出院后发生的感染,不包括人院前已开始或者入院时处于潜伏期的感染。医院工作人员在医院