一种支持批处理和流计算的分布式应用架构的设计与实现

被引量 : 0次 | 上传用户:dingdang7456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的发展,现在已经进入了大数据时代。本文针对以互联网应用为代表的需要高并发、低延时系统和以合规实时监控系统为代表的需要在不变数据集上进行复杂运算的应用,结合批处理并行计算系统和流式并行计算系统的优点设计和实现了一个分布式应用架构——DABR(Distributed Architecture supports Batch computing and Realtime computing)。本文详细阐述了如何在一个应用架构中同时获得批处理并行计算模型和流式并行计算模型的优点,如何设计本应用架构的每一个关键功能从而获得上文所述的特点。同时,本文论述了如何在实现时关注应用架构的扩展性,使用接口模式来使得用户能够很方便地扩展本应用架构的任意模块。接着本文介绍了DABR架构的具体实现,DABR架构所提供的API,同时通过实现SNSTester这个应用系统来说明本架构的使用和功能。最后,论述了金融合规系统及DABR架构在金融合规系统中的应用。同时,通过具体例子阐述了批处理并行计算和流式并行计算在不同应用场景下两种常见的结合方式。
其他文献
随着风电接入的越来越多,提出了关于风电场等效调峰调频容量的含义,将风电场等效调峰调频容量中,进行风电的接入,充分地将系统调峰在接入风电之后受到的影响进行了体现,对于
《天地全图》收录在吕安世1722年辑刻的《三才一贯图》中,目前见得三种版本:一为美国国会图书馆木刻藏本;二为韩国国立中央图书馆藏朝鲜彩色摹绘本;三为韩国国立首尔大学奎章
<正> 医院义工服务,就是自愿者在无任何物质报酬的情况下,参加医院组织的各种为病人的服务[1]。近十几年来义工服务在西方许多国家迅速发展,包括我国的台湾、香港,也受到了病
北京成功地申办 2 0 0 8年夏季奥运会举办权之后 ,极大地震动了我国的冬季体育界 ,人们在考虑我国何时能够举办冬奥会。于是 ,中国的哈尔滨便在 2 0 0 1年开始着手申办冬奥会
镁及镁合金具有比强度、比刚度高,电磁屏蔽和抗辐射能力优良等一系列优点,在汽车、电子、航空航天和国防军事工业等领域具有重要的应用价值。但镁是密排六方结构,室温变形加工性
宋代仕女画是中国人物画高峰时期民族传统绘画的典范之一,在继承传统的基础上成熟发展,在中国美术史上起着承上启下的桥梁作用。其中,“笔”与“色”是宋代仕女画独特面貌形成的
阐述了医疗卫生领域患者安全文化发展的3个历程:惩罚文化、免责文化、公正文化,介绍了公正文化的定义及国内外医疗机构研究现状,分析公正文化在国内医疗卫生领域的缺失现状以
以东莞市茶山镇体育馆钢结构工程为例,系统介绍了大跨度空间钢桁架的施工总体思路,并对大跨度空间钢结构施工控制的技术要点及其质量保证措施进行了详细分析,可为类似工程提
结合河北省平原型村庄的自身特点,通过邢台西张麻村村庄整治的成功案例,分析了政府与村民在整治规划过程中的职能转变,进而提出以政府主导、村民参与的规划模式转为"政府引导