论文部分内容阅读
信息高度共享、综合利用是企业信息化的重要目标,也是提高信息化建设应用水平的重要标志。当企业和IT技术发展进入“大数据”时代,面对海量数据,通过分析运转中的数据,做出正确的决策,已是广受关注的话题。企业综合业务信息资源库是指运用数据集成技术,将共享面宽、使用频度高的信息,按照业务综合需求进行组织,以多种形式提供多方面、多层次的信息支持和服务。数据集成是指将不同应用系统、不同数据形式,在原应用系统不做任何改变的条件下,进行数据采集、转换和存储的数据整合过程。数据集成的目的是运用一定的技术手段将各个独立系统中的数据按一定规则组织成为一个整体,使得其他系统或者用户能够有效的对数据进行访问。数据集成是现有企业应用集成解决方案中最普遍的一种形式。数据处于各种应用系统的中心,大部分的传统应用都是以数据驱动的方式进行开发。之所以进行数据集成是因为数据分散在众多具有不同格式和接口的系统中,系统之间互不关联,所包含的不同内容之间互不相通。因此需要一种能够轻松访问特定异构数据库数据的能力。在系统的建设中主要采用Oracle数据库作为综合业务信息资源库数据库平台。采用IBM的W II和ETL工具DataStage构建数据采集平台。根据不通的业务数据源运用ETL技术对采集的数据制定规则流程进行转换和清洗。整个系统可以分为源数据层、数据传输层、数据存储层和数据应用层四个层次。源数据层:源数据层存储的内容为综合业务信息资源库的数据来源,包括各个业务数据库。数据传输层:包括数据采集平台,数据采集平台负责将源数据层存储的数据根据规则抽取并装载到综合业务信息资源库中。数据存储层:数据存储层的主要内容为综合业务信息资源库。数据应用层:包括综合业务信息资源库为各类应用系统提供数据支撑的应用系统,除此之外,还包括综合资源库系统为各类应用系统提供的数据或应用接口。建设数据采集平台实现了对各快递数据不同数据接口访问,增量数据的捕获与定期更新,并进行数据的清洗、转换、统计分析、数据打包下发等功能。开发资源库管理系统实现了对业务数据源的表结构、表空间等对象,数据采集平台的抽取任务,目标资源库表等对象进行各个环节的图形化监控与报警等管理功能。在整个项目的建设过程虽然也遇到协调方面、技术方面的难点,但在通过各方面的努力,解决了相关问题,基本完成了项目的建设目标。希望在今后的应用过程中开展扩充数据种类,进一步提高数据质量、数据分析展现等相关工作,更好的为企业提供数据共享、综合应用与决策分析服务。