大数据环境下数据仓库作业调度系统的设计与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:wnn379
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的不断发展,企业数据呈现出规模巨大,类型增多,关系复杂的特点。受此影响,企业数据仓库在建设过程中也出现了作业处理不及时,新型数据无法处理,以及作业逻辑不能匹配多样的业务场景等问题,难以满足企业发展的需求。本文针对大数据环境下数据仓库作业调度系统面临的问题,进行了针对性的研究与分析,提出了一种设计方案,并给出了关键功能的具体实现。该方案整体采用了分布式的架构,并在多个环节进行了高并发性设计,提高了系统面对海量数据处理时的负载能力。同时方案对数据作业等领域基础对象进行了良好的抽象,隐藏其由于数据类型不同造成的差异,提高了系统对多类型数据作业的管理以及扩展新类型数据作业的能力。最后方案针对业务特点对作业约束进行了抽象与设计,并引入了工作流管理的思想,使作业能够在满足约束的情况下快速高效的运行。文章详细分析了系统的功能与非功能需求,将系统分为数据作业开发、工作流引擎、租户权限管理、执行集群管理、执行节点等模块,并以此为基础给出了总体架构与部分关键模块的详细实现。系统使用Spring Boot框架进行快速搭建,不同的模块独立开发与部署,模块之间采用RESTful风格的接口进行通信。用户通过浏览器与系统的开发侧模块相连接,获取信息或传达指令。经测试与实际运行反馈,该系统能够较好的满足大数据环境下数据作业的开发与调度工作,提高开发人员的工作效率。
其他文献
人类在社会发展进程中不断汇聚智慧缔造出各类工具及方法真切的提升了信息生产及其信息传播的效率,媒介技术在人类的智慧凝聚之下加快了发展步伐。信息传播形式从口语时代开始,经历文字、印刷、电子传播到现在的数字化新媒体传播,多元化的信息传播形式也使得人类接受信息的方式随之丰富,人类的生活伴随当下迅猛发展的互联网列车发生了质的飞跃,与此同时,世界也成为了拥有无限联系及更多发展可能性的新天地。视频博客(Vlog
目前,各种能源环境问题促使电化学能源存储与转化的研究快速发展。其中,电催化剂起到了核心作用。设计和开发高活性能源转化反应的电催化剂需要深刻理解其活性结构与电催化过程,目前基于“密度泛函理论”(DFT)的计算电化学模拟是获得这些认识的主要手段。其中,基于电中性模型的“计算氢电极”(CHE)方法由于其计算简便在电催化理论模拟中被大量使用。但近年来逐渐发现这种间接引入电势的方法在诸如二维材料模型中会产生
“计算不再只和计算机有关,它决定了我们的生存”这句话是20多年尼葛洛庞帝在《数字化生存》一书的前言中所写,今天即使是普通人都深刻的理解了这句话。在这样一个时代,数据、算法成为决定我们生存方式的重要因素,用户享受算法技术带来的信息选择便利的同时,也逐渐陷入由技术和个人共同铸就的“茧房”之中。本文从技术的角度出发,结合用户的心理特征,以爆款APP“抖音”短视频为研究对象,采用实证研究分析方法,用数据来
构建中国体育舞蹈联合会裁判员执裁水平评价指标体系,对中国体育舞蹈联合会裁判员进行更加客观的评价,一方面,满足中国体育舞蹈联合会裁判委员会的管理和监督部门的迫切需求,有利于为比赛创造公平公正的氛围和条件。另一方面,有利于促进裁判员个人的全面发展,从而加强裁判队伍建设。此外,裁判员培训后进行裁判员执裁水平评价,其结果可作为裁判员获取执法资格的参考,也是对培训效果的有效性及程度进行检验。所以构建中国体育
2001年中国加入WTO后,经济进入了快速发展新阶段,国际贸易发展也取得了显著成果。2018年,中国进出口贸易总额首次突破30万亿元人民币,同比增长9.7%,创下历史新高。在全球经济增速放缓、单边主义、逆全球化盛起的今天,中国经济的繁荣发展吸引着全世界的目光。近年来,中国逐步提出工业化、信息化“两化融合”发展方针,将信息技术发展放在了至关重要的位置。而信息技术所在的高技术产业近年来也逐步成为国际竞
随着高层梯队理论(Upper Echelons Theory)的提出,诸多学者的实证研究结果表明:管理者的专业知识和背景经历在企业决策行为中扮演着重要的角色。本文以管理者特质(烙印机制)影响企业决策行为为切入点,基于我国A股上市公司CEO个人特征数据研究了CEO金融背景对上市公司投资效率的影响,希望能进一步打开CEO投资决策的“黑箱”。本文选取2008-2017年沪深两市A股上市公司作为研究样本,
土壤微生物在生态系统物质循环和能量流动中发挥重要作用,土壤微生物多样性的形成和维持机制是群落构建研究的主题之一。大量研究表明土壤理化特性是土壤微生物多样性形成的重要驱动因子;由于土壤、微生物和植物相互联系和作用,理论预测土壤微生物多样性不仅受土壤理化特性影响,也受植物多样性等影响。当前研究表明植物物种多样性与土壤微生物多样性关系并不密切,基于区域大尺度的研究表明土壤微生物多样性与植被特性有关;在局
混合像元是遥感影像成像过程中不可避免的一种现象。多/高光谱遥感影像中的普遍存在的混合像元会对图像分类、目标探测、地表参数定量反演等应用产生不利的影响。混合像元分解是目前针对混合像元问题最有效的解决方案之一。混合像元分解模型包含线性与非线性光谱混合模型两种,其中线性混合模型因其计算简单,模型物理意义明确而得到广泛应用;本研究是基于线性光谱混合模型开展的。端元提取与丰度估算是混合像元分解的核心内容,前
近年来,中国的金融业逐步迈向互联网时代,互联网金融发展迅速。随着智能手机的普及,移动数据接入费用降低,人们将目光转向移动支付。以支付宝为代表的第三方电子支付在国家政策的引导和支持下,强势闯入支付领域,向传统银行发出挑战,迫使银行推出对应的产品迎接挑战。随着同业竞争的不断加剧,产品同质化严重、活跃客户比例较低等现象在建设银行南京分行的移动支付业务中暴露出来。如何在激烈的竞争中脱颖而出,如何正视和解决
中等职业学校的语文教学规律与初中语文是具有连续性的,中职教材的编写与初中也密不可分,中职教材在编写时应关注到学生初中语文学习的基础,只是据笔者在初中与中职学校任教的经验判断,中职与初中语文教材的学习出现了明显的断层,这极大地阻碍了学生语文素养的提高,因此中职与初中语文教材的衔接应当成为一线教师关注的重点。本论文从实际情况出发,利用当前可搜集到的资料,同时综合在湖南省各地实地调查的中职与初中语文教材