近年来随着大数据、机器学习、5G等技术飞速发展,数据规模越来越大,数据量呈几何增长,数据来源和类型更加多元化。同时随着企业发展,新的业务线不断产生,根据不同业务线创建的数仓逐渐形成一个个封闭的数据中心,导致了数据多源异构的特点,这是企业目前面临的主要挑战。这些挑战为业务的长远发展带来很多问题,首先是数据的一致性与易用性问题,因为数据多源异构的特点,难以从多数据源中识别有效数据,数据的一致性也无法保障。其次是缺少完善的数据价值衡量体系,难以综合评定数据资产对业务的贡献和影响。另外,根据不同业务线建立的主题数仓,数据难以互通,形成数据孤岛,难以发掘隐藏的数据价值。本项目旨在通过数据湖的方法论,打破数据孤岛,形成数据联邦,对企业内的不同业务线、不同数仓的多源异构数据进行统一管理。经过对企业大数据发展现状的深入调研,充分了解企业需求和业务挑战,设计并实现了联邦数据管理系统。首先对企业内部广泛使用的数据源进行分析,从多源异构的数据中提取元数据,抽象出统一的元数据模型,同时对该元数据模型进行深入验证,确保对半结构化、非结构化数据以及其他数据库源的兼容,为元数据的统一管理奠定基础。然后设计并实现了数据源管理、元数据管理、统一查询系统三个模块,其中数据源管理提供数据源接入以及采集元数据信息并映射到统一元数据模型功能,元数据管理提供数据使用权限管理功能,统一查询系统基于Spark实现了数据的查询使用功能。联邦数据管理系统使得对企业多源异构数据的统一管理成为可能,实现从元数据采集、元数据模型映射、元数据管理到数据使用的规范化流程,并且提供了数据统一查询视角和使用方式,支持多源异构数据的联合查询。目前联邦数据管理系统已经上线运行,为企业用户提供了稳定可靠的服务,并且对接企业内部的大数据计算平台、报表平台等多个下游业务系统,满足了企业数据开发需求,创造了巨大的价值。