论文部分内容阅读
从2004年济南钢铁集团有限公司(以下简称济钢)的ERP系统上线到现在,系统数据平均以每月13GB的速度迅猛增长,已由上线初期的46GB增至760GB。虽然,我们已经进行了多次的系统调优、软硬件升级,在短时间内、一定程度上提升了系统性能,但长期来看,数据量的迅猛增长将始终影响系统的运行效率,必须予以解决。
350GB的历史数据
济钢作为山东省最大的钢铁制造企业和中国最大的板材制造及出口基地,近10年来,一直在大力推进信息化建设,陆续建设了公司内部骨干网络、OA、ERP、BI等核心应用信息系统。
目前,ERP系统已成为济钢不可或缺的管理工具。但随着ERP的深化应用,问题也逐渐产生——数据量的急速增长,极大地制约着信息系统的深化应用。随着时间的推移,系统压力越来越大,仅仅增加硬件投资,无法从根本上解决问题,只会让ERP系统成为一个烧钱的无底洞。
截至2010年4月,济钢ERP系统的数据已增长到760GB。经过系统分析,我们发现济钢ERP数据库现有的760GB的数据中,接近一半的数据为历史数据,访问频率非常低。近350GB的历史数据,对现有ERP系统性能造成了严重影响,特别是对数据量大、交互性非常强的库存、成本管理、生产、销售四个模块。
以生产制造模块(WIP)为例,济钢ERP系统生产制造模块上线运行至今已有6年时间,随着集团公司规模的不断扩大以及信息系统不断深入应用,其实施范围已经覆盖炼钢、板材、热轧厂、冷轧厂等所有主体生产厂,业务数据已涵盖计划编制、工单下达、产线管理、成品库存、物资调拨等各项流程。
自上线以来,系统内共下达了60多万条生产工单。现在,济钢每月大约产生业务数据100余万条,产生批次信息60余万条,与之相关的业务数据达到2亿条以上。急剧增长的数据给系统的运行和信息检索带来了沉重的负担。
经过对数据库的仔细分析,我们发现其中WIP模块及相关的库存模块数据有接近一半的数据为可归档数据。这些数据的访问频率非常低,导致系统历史数据负载过重,系统性能下降,用户查询、统计、分析历史数据时速度相当慢,系统稳定性也得不到保证。
透明归档
分离历史与业务数据
为从根本上解决这一问题,济钢自动化部经过大量的考察交流、技术论证,决定联手HP公司实施ERP归档系统,对济钢ERP系统进行瘦身,实现历史数据与业务数据的分离,减轻业务系统压力,提高业务系统各方面的性能。
归档系统的核心技术是透明访问技术,其技术主要解决如何同时访问在线数据库及归档后的历史数据库的问题,用户访问数据将不受到任何影响,其原理如图1所示。
经过分析,济钢ERP系统数据库中库存、成本管理、生产、销售四个模块数据量非常大,占总体数据大小的 52.43%,其中库存最大, 约占总体数据的34%,成本管理占8%,WIP占7%,销售模块占3%(如图2)。这四个模块历史数据占比较高,同时这些模块的操作频率高,数据及时性要求高。因此,数据归档系统的实施范围主要集中在库存、成本管理、生产、销售这四个模块。
济钢用Oracle的数据库。数据归档系统HP RIM for Oracle EBS(Oracle 电子商务套件)的实施步骤是:首先,结合业务情况和系统负载,与库存、成本、WIP及销售业务相关人员讨论,根据业务发展情况、数据期间跨度和使用频率等条件,确定在线数据保留期限;然后,进入归档测试阶段,也是整个项目的关键阶段。在这一阶段,我们在搭建的归档专用测试环境中进行了归档工作流程的整体测试,记录了归档前后在线数据库与归档历史数据库的变化,确认了归档程序的有效性及稳定性。
测试的过程整体来说比较顺利,但也出现了问题,主要集中在由于数据填写不规范、不完整,导致无法实现系统归档等方面。例如,在系统上线初期,数据录入者对一些必填项和可填项的把握不够准确,导致数据不规范,从而影响了归档测试。经过查询、修改、完善之后,数据规范问题得以解决。另外还有一些限制条件,会影响归档操作,以生产制造模块为例,只有在库存归档、成本更新历史归档、生产工单关闭之后,生产制造模块才能做数据归档。
进行了系统功能测试、系统压力测试及相关报表系统的运行测试,确认归档程序可靠后,我们又进一步进行了重装(Reload)测试,确保归档过程的可逆性。经过全面测试,HP RIM for Oracle EBS安全可靠,我们在ERP正式环境进行了最终的归档操作,并形成了正式的归档记录文档。
HP RIM归档系统针对Oracle EBS的特点,利用标准清除功能,通过Oracle EBS的并发请求提交归档任务,控制台统一管理收集将要归档的数据信息,先将所要归档的数据移动到归档表空间保存成XML格式或集成 WORM存储,然后再删除EBS中的归档记录,完成一次归档过程。HP RIM通过将不活跃的数据迁移到次级数据库,保持了本地应用对该数据的透明访问。归档过程可在线实施,从用户的角度来看,同时访问历史数据与在线数据不会受到任何影响,业务用户使用系统也不受干扰。
用户可通过Archive Monitor(数据增长监控和策略管理控制台),检测应用数据增长和程序性能,对每一个归档请求进行即时监控,控制归档进度,处理可能出现的问题。
数据库规模减半 时间减半
实施了首次数据库归档后,在符合数据保留法规的要求的同时,ERP系统的总体数据库大小大约减少了一半,从而降低了服务器和存储基础设施的成本、数据库调优的支出以及系统维护成本,提高了投资回报率。通过改善应用效率和把不活跃的数据搬迁,大大节省数据库的空间,有效提高系统的性能,最大限度地降低系统的关键灾难恢复时间和升级(软件和硬件)宕机时间,同时减轻相关的管理和维护负担。
以生产制造模块为例,HP RIM 系统将使用率低的历史数据迁移出在线数据库后,明显增加了ERP在线系统的运行能力和稳定度,并且保证了数据完整性。用户使用相关报表时,程序运行效率大大提高,等待时间也缩短很多。经过综合测试,以查询一个较大的报表为例,归档前需要半小时以上才能运行完成,现在10分钟内即可展示结果。另外,现在每月月初,各业务单位几乎同时使用系统进行数据结算时,程序运行效率的提高更是显而易见。以生产部门为例,原来一天要对几十万个批次的生产数据的属性、数量进行分类、汇总,要耗整整一天时间,而现在只需要9个小时。
另外,通过归档,在线数据库数据表的记录数大量减少, 对应的数据表的索引、数据存储所需的空间也大大减少,提高了系统的综合性能。
数据归档是一项需要长期进行的工作,因为每天都会产生新的历史数据。因此,我们需要不断完善归档策略,把握归档进度,加强对数据系统管理的能力,来保障系统运行的稳定性、高效性。
350GB的历史数据
济钢作为山东省最大的钢铁制造企业和中国最大的板材制造及出口基地,近10年来,一直在大力推进信息化建设,陆续建设了公司内部骨干网络、OA、ERP、BI等核心应用信息系统。
目前,ERP系统已成为济钢不可或缺的管理工具。但随着ERP的深化应用,问题也逐渐产生——数据量的急速增长,极大地制约着信息系统的深化应用。随着时间的推移,系统压力越来越大,仅仅增加硬件投资,无法从根本上解决问题,只会让ERP系统成为一个烧钱的无底洞。
截至2010年4月,济钢ERP系统的数据已增长到760GB。经过系统分析,我们发现济钢ERP数据库现有的760GB的数据中,接近一半的数据为历史数据,访问频率非常低。近350GB的历史数据,对现有ERP系统性能造成了严重影响,特别是对数据量大、交互性非常强的库存、成本管理、生产、销售四个模块。
以生产制造模块(WIP)为例,济钢ERP系统生产制造模块上线运行至今已有6年时间,随着集团公司规模的不断扩大以及信息系统不断深入应用,其实施范围已经覆盖炼钢、板材、热轧厂、冷轧厂等所有主体生产厂,业务数据已涵盖计划编制、工单下达、产线管理、成品库存、物资调拨等各项流程。
自上线以来,系统内共下达了60多万条生产工单。现在,济钢每月大约产生业务数据100余万条,产生批次信息60余万条,与之相关的业务数据达到2亿条以上。急剧增长的数据给系统的运行和信息检索带来了沉重的负担。
经过对数据库的仔细分析,我们发现其中WIP模块及相关的库存模块数据有接近一半的数据为可归档数据。这些数据的访问频率非常低,导致系统历史数据负载过重,系统性能下降,用户查询、统计、分析历史数据时速度相当慢,系统稳定性也得不到保证。
透明归档
分离历史与业务数据
为从根本上解决这一问题,济钢自动化部经过大量的考察交流、技术论证,决定联手HP公司实施ERP归档系统,对济钢ERP系统进行瘦身,实现历史数据与业务数据的分离,减轻业务系统压力,提高业务系统各方面的性能。
归档系统的核心技术是透明访问技术,其技术主要解决如何同时访问在线数据库及归档后的历史数据库的问题,用户访问数据将不受到任何影响,其原理如图1所示。
经过分析,济钢ERP系统数据库中库存、成本管理、生产、销售四个模块数据量非常大,占总体数据大小的 52.43%,其中库存最大, 约占总体数据的34%,成本管理占8%,WIP占7%,销售模块占3%(如图2)。这四个模块历史数据占比较高,同时这些模块的操作频率高,数据及时性要求高。因此,数据归档系统的实施范围主要集中在库存、成本管理、生产、销售这四个模块。
济钢用Oracle的数据库。数据归档系统HP RIM for Oracle EBS(Oracle 电子商务套件)的实施步骤是:首先,结合业务情况和系统负载,与库存、成本、WIP及销售业务相关人员讨论,根据业务发展情况、数据期间跨度和使用频率等条件,确定在线数据保留期限;然后,进入归档测试阶段,也是整个项目的关键阶段。在这一阶段,我们在搭建的归档专用测试环境中进行了归档工作流程的整体测试,记录了归档前后在线数据库与归档历史数据库的变化,确认了归档程序的有效性及稳定性。
测试的过程整体来说比较顺利,但也出现了问题,主要集中在由于数据填写不规范、不完整,导致无法实现系统归档等方面。例如,在系统上线初期,数据录入者对一些必填项和可填项的把握不够准确,导致数据不规范,从而影响了归档测试。经过查询、修改、完善之后,数据规范问题得以解决。另外还有一些限制条件,会影响归档操作,以生产制造模块为例,只有在库存归档、成本更新历史归档、生产工单关闭之后,生产制造模块才能做数据归档。
进行了系统功能测试、系统压力测试及相关报表系统的运行测试,确认归档程序可靠后,我们又进一步进行了重装(Reload)测试,确保归档过程的可逆性。经过全面测试,HP RIM for Oracle EBS安全可靠,我们在ERP正式环境进行了最终的归档操作,并形成了正式的归档记录文档。
HP RIM归档系统针对Oracle EBS的特点,利用标准清除功能,通过Oracle EBS的并发请求提交归档任务,控制台统一管理收集将要归档的数据信息,先将所要归档的数据移动到归档表空间保存成XML格式或集成 WORM存储,然后再删除EBS中的归档记录,完成一次归档过程。HP RIM通过将不活跃的数据迁移到次级数据库,保持了本地应用对该数据的透明访问。归档过程可在线实施,从用户的角度来看,同时访问历史数据与在线数据不会受到任何影响,业务用户使用系统也不受干扰。
用户可通过Archive Monitor(数据增长监控和策略管理控制台),检测应用数据增长和程序性能,对每一个归档请求进行即时监控,控制归档进度,处理可能出现的问题。
数据库规模减半 时间减半
实施了首次数据库归档后,在符合数据保留法规的要求的同时,ERP系统的总体数据库大小大约减少了一半,从而降低了服务器和存储基础设施的成本、数据库调优的支出以及系统维护成本,提高了投资回报率。通过改善应用效率和把不活跃的数据搬迁,大大节省数据库的空间,有效提高系统的性能,最大限度地降低系统的关键灾难恢复时间和升级(软件和硬件)宕机时间,同时减轻相关的管理和维护负担。
以生产制造模块为例,HP RIM 系统将使用率低的历史数据迁移出在线数据库后,明显增加了ERP在线系统的运行能力和稳定度,并且保证了数据完整性。用户使用相关报表时,程序运行效率大大提高,等待时间也缩短很多。经过综合测试,以查询一个较大的报表为例,归档前需要半小时以上才能运行完成,现在10分钟内即可展示结果。另外,现在每月月初,各业务单位几乎同时使用系统进行数据结算时,程序运行效率的提高更是显而易见。以生产部门为例,原来一天要对几十万个批次的生产数据的属性、数量进行分类、汇总,要耗整整一天时间,而现在只需要9个小时。
另外,通过归档,在线数据库数据表的记录数大量减少, 对应的数据表的索引、数据存储所需的空间也大大减少,提高了系统的综合性能。
数据归档是一项需要长期进行的工作,因为每天都会产生新的历史数据。因此,我们需要不断完善归档策略,把握归档进度,加强对数据系统管理的能力,来保障系统运行的稳定性、高效性。