论文部分内容阅读
互联网、大数据、人工智能时代数据已成为银行的重要资产,越来越多的商业银行积极建立全行级数据体系以满足其在数据关系分析、数据价值挖掘、数据应用等领域的需求。本文通过分析商业银行数据架构,提出对异构数据源高并发ETL处理技术,可高效实现海量数据抽取、清洗、标准化、转换、加载及整合,解决了现有技术问题中多种异构数据源无法并发ETL处理、无法按系统优先级处理等导致的数据整合不灵活、批量总体运行时间过长、资源利用效率低等问题。