广东农信用好海量数据

来源 :中国计算机报 | 被引量 : 0次 | 上传用户:jueai831015
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  广东农信通过建设IBM ECM解决方案,成功支撑事后监督系统,将会计凭证影像文件等海量的非结构化数据进行很好的存储和管理,从而为事后监督和风险管控提供有效依据。
  对于金融机构而言,风险管控体系就像汽车的刹车系统,虽然不能让车前进,却绝对不能缺失。
  当然,要把“刹车”做得更加适当和精准,信息技术不容忽视。特别是对于广东省农村信用社联合社(下文简称广东农信)这样拥有多级法人、众多联社、数据规模庞大的机构而言,要在浩瀚的会计凭证“海洋”中查找到违规操作的蛛丝马迹,从而控制风险,如果没有信息系统的帮助,这几乎是不可能完成的任务。近日,广东农信信息技术部总经理韦旦接受了《中国计算机报》记者的独家采访,与记者分享了完成这个任务的秘诀。
  没有案例可借鉴
  广东农信成立于2005年8月5日,拥有99家联社(农村商业银行)、5622个营业机构,是广东省内营业网点最多、服务面最广的金融机构。而始于2009年的数据大集中项目,给广东农信的会计凭证影像等非结构化数据的存储和管理带来了极大的挑战。
  “虽然广东农信实现数据大集中的时间并不早,但是数据规模庞大。我们的数据大集中项目可以说是全国农信系统中迄今为止规模最大的。”韦旦向记者介绍,广东农信每天柜面的交易量大约为500万笔,而其他广东省内银行的这一数字不超过100万笔。
  事实上,如此大规模的交易量,给广东农信事后监督系统(下文简称后督系统)的运行提出了严苛的要求,而后督系统又是广东农信风险管控这一“刹车”系统的重要环节。
  “后督系统是提供给全省各农合机构事后监督中心和网点使用的,用于监督各项业务处理的正确性、合规性、真实性和完整性。它可以及时发现各种核算差错事故,暴露业务核算中出现的各种违章、违纪、违法行为,完善业务操作风险控制体系,是实现差错处理的电子化、凭证管理的电子化的一整套管理信息系统。系统主要包括影像处理、重点监督、再监督、风险预警、差错处理流程管理、实物档案流程管理等功能。”韦旦说。
  2011年,后督系统上线后,为了配合大量会计凭证影像文件的存储、在线查询和管理,同时兼顾日后可能出现的电子文档、影像、多媒体、报表、Web/EMail等非结构化数据的存储和管理,广东农信提出建设非结构化数据存储管理系统。
  “根据业务需求,广东农信后督系统规划使用的非结构化数据存储管理系统需要实现满足新增400万张100KB影像文件的存储和生命周期管理的需求。” 韦旦告诉记者,“在选型之初,我们参考了很多银行的建设经验。但是我们发现,当时国内业界还没有如此大数据量的非结构化数据存储管理系统应用案例。”
  “不得已,我们甚至做好了分地区建立多套内容管理系统的最坏打算。”韦旦说。
  打破技术瓶颈
  当然,韦旦并未放弃集中式非结构化数据管理的尝试。最终,广东农信通过部署IBM ECM(Enterprise Content Management,企业内容管理解决方案),实现了省内各农合机构会计凭证影像的统一分类、存储、管理、查询。事后监督人员可以通过会计凭证影像及时发现业务风险并进行快速响应,日后也可以方便快捷地从IBM ECM中调阅历史电子化影像文件。
  “数据量大成为了广东农信后督系统面临的最大挑战。经过对广东农信后督系统数据存储需求的分析,我们发现如此大规模的文件存储会超出操作系统文件系统的限制,同时按照目前的数据量进行存储,三五年后就会达到数据库的上限,而根据行业规范很多会计凭证影像要保存十几年甚至几十年。”IBM ECM产品开发经理徐军告诉记者。
  据了解,广东农信后督系统的内容管理平台项目分为三个阶段实施,分别是架构分析阶段、安装实施阶段和表分区优化阶段。此外,广东农信在IBM研发技术团队的协助下,还进行了软件调优和性能测试。
  “这样一个难度极高的项目能够成功实施和应用,离不开双方的良性互动。IBM在内容管理方面的先进技术和经验是基础,而我们也结合自己的实际需求和对技术的理解,帮助ECM实现了突破和提升。”韦旦告诉记者,“比如在表分区优化阶段,IBM实验室针对数据库中的大表使用了表分区和单独表空间重建存储数据。在这一过程中,我们提出所有重建的表、索引都要进行压缩,减少数据库存储空间并提高数据库数据的读写速率。这一方案被IBM实验室采纳。”
  “IBM和广东农信技术专家通力合作,利用IBM ECM优良的特性实现了数据库和系统架构的优化,最终突破了很多系统设定上的极限,从而顺利完成了项目。”徐军说。
  “IBM ECM是一个应用非常广泛的内容管理平台,在国际上有很多金融机构在使用。广东农信的ECM项目在一开始就有非常清晰的规划和明确的需求,项目的规划、架构、调优等过程都有IBM中国开发中心研发团队与用户的共同努力,IBM中国开发中心也在这个项目上进行了巨大的投入。”IBM中国开发中心企业内容管理、业务分析及能源电力解决方案开发总经理吉燕勇告诉记者。
  据了解,广东农信后督系统内容管理平台在2013年7月正式上线后,系统内存储的凭证数量为千万级(约为6000万张),每天新增约80万张凭证图像,数据装载每天花费40分钟,性能表现达到了预期。
  后发优势
  “现在看来,我们当时选择IBM的ECM解决方案无疑是正确的。”韦旦回忆着项目建设的点点滴滴,仿佛从选型到应用的整个过程都历历在目。
  “ECM在广东农信后督系统成功运行中起到了至关重要的作用。虽然市场上也有不使用内容管理的后督系统解决方案,比如当时佛山农商行就使用了信雅达的解决方案,但是对于全省的数据规模,这样的方案并不适用。经过广泛的考察和调研,我们发现只有IBM的ECM解决方案适合广东农信大规模数据的苛刻需求,同时适合扩展并推广至全省各级农商行使用。”韦旦告诉记者,IBM ECM的核心优势在于其领先的数据模型设计,能够保证系统内的大量非结构化数据可以很好地被存储和管理。
  韦旦介绍,截至2013年12月,广东农信的内容管理系统已经覆盖全省34个农村商业银行/联社,根据规划在2014年将实现该系统的全省覆盖。“到那时,我们将实现全国农信系统中最大规模的非结构化数据集中式存储管理,并利用会计凭证影像进行事后监督工作的风险控制。”韦旦认为,虽然广东农信的数据大集中以及非结构化数据存储管理做得并不早,却具有一定的后发优势。这其中包括具有充分的选型和实施过程,以及采用更为先进的技术和实现更广泛的应用。
  “ECM作为全面的解决方案,也可以集成DB2、WebSphere Application Server等产品。而IBM中国开发中心承担了IBM ECM产品的核心开发,覆盖了ECM包括文档影像化和捕获、案例管理、信息生命周期管理等几乎所有的产品线。在应用系统研发和实施过程中,IBM的支持团队始终提供及时的支持和必要的现场服务以形成最佳的产品实施经验,帮助广东农信顺利完成后督系统的全面覆盖应用,在大数据时代提升了企业的竞争力和风险管控能力。”吉燕勇表示。
其他文献
IT的真正核心是什么?一体机屏蔽复杂性,云计算改变软件形态,免费软件变相赢利……  软件产业全新的变化带给我们跨界思维。  先哲曾经说过,这世界唯一不变的就是变化。软件产业亦是如此。在技术变革、用户需求和产业环境的不断变化过程中,软件的商业模式也在与时俱进,不断演变。  从纯软件到软硬一体  从软件跨界到硬件,软硬一体化趋势越来越明显。随着IT应用的不断深入,以及云计算、社交网络、大数据和移动应用
当前,我国政府已经战略性地将信息化当做是各行业发展的强力支撑,为行业信息化的大发展带来巨大发展契机,同时也为我国下一步推进行业信息化建设指明了方向。国家网络安全领导小组的筹建,则说明国家将网络和信息化纳入重要战略层面。  近年来,移动互联、社交网络、云计算、大数据等新技术的成熟,加速了企业信息技术集成应用模式和信息化服务模式的创新,从而也将新技术不断融入企业生产经营管理环节,带动了中国行业信息化迅
尽管如今很多厂商都推出了电子商务产品,但是用友优普欧日青认为,当今市场格局尚未形成,用友优普即将推出的U商城,却因为能够与其ERP产品U8无缝集成,助力企业O2O业务,所以能够快速形成显著优势。  用友优普计划在11月推出电子商务软件产品——U商城。这是正在向互联网转型的用友集团众多转型举措之一。  平台化商城不能承受之重  记者了解到,用友优普于今年7、8月份才启动U商城的研发。在业内人士看来,
2013年才刚成立的北京公瑾科技有限公司(简称公瑾科技)携财税一体化解决方案慧算账在各自本来已经“成熟”的财务和税务管理信息化市场赢得一席之位,以及IDG 2000万元的A轮融资。那么,在技术方面,公瑾科技是如何充分利用后发优势的呢?为此,本报记者专访了公瑾科技CTO罗时飞。  满足业务需求为先  罗时飞认为,作为一个市场的新进入者,公瑾科技的慧算账却有着独特的优势,那就是支撑财税一体化,因为尽管
9月10日,戴尔公司董事长兼首席执行官迈克尔·戴尔空降上海,他要亲自阐述戴尔中国4.0新战略。发布会被安排在“高大上”的上海浦东香格里拉饭店,本来就不大的会议室因为涌入了太多记者和“长枪短炮”而显得格外拥挤。  “未来五年,戴尔要向中国市场投入1250亿美元,预计对中国进出口额贡献约1750亿美元,直接或间接创造100万个工作机会。”迈克尔·戴尔一开口就引爆全场。  这一大笔投资如何才能用在刀刃上
用IT的视角审视“两会”,发现那些被“两会”关注的IT。今年的“两会”,在代表委员们集中提出国家安全、空气污染、食品安全等问题的同时,信息安全、大数据、云计算也在各种提案建言中上升到了国家战略的高度。IT领域的技术发展,正在成为改善民生的希望。  在过去的一年里,“棱镜门”的爆发触动了国家信息安全的敏感神经,中国1/4的国土出现雾霾,食品安全问题从“毒奶粉”演变为“死猪肉”……在今年的“两会”上,
在安全方面,人们更多的是关心网络的安全性,电脑的安全性,大多数人对打印机的安全性则不够重视,甚至有的人都不知道打印机还会有安全问题。其实打印机的安全问题,尤其是激光打印机的安全问题由来已久。  美国独立研究机构Ponemon Institute公布的报告显示,64%的IT经理认为他们公司的打印机可能感染了恶意软件。与此同时,56%的企业级用户在终端安全策略中忽视了打印机。为了帮助用户解决这个问题,
互联网在商业领域的成功,正在对制造、医疗、教育等传统行业产生直接的倒逼效应。李克强总理在政府工作报告中正式提出制定“互联网 ”行动战略,也正是此背景下的产物。“互联网 ”的实质是什么呢?互联网在商业领域取得成功的关键策略,如何在大型集团进行贯彻,推动企业进行现代化建设,从而形成一体化管控模式,这还有很多问题需要思考。信息化能否帮助企业实现管理创新、改善管理效率,最终提升企业的竞争力、实现转型,成为
近五年来,国内建设数据中心的投资年增长率超过20%,各行业都在规划、建设或改造各自的数据中心。数据中心建设推动了云计算技术的应用,但整个应用架构模式都发生了巨大的变化。在传统IT资源的基础上,各类行业专业设备、新型资源、虚拟资源层出不穷,大数据、云平台的应用对各类资源的性能、容量、扩展性等要求也越来越高,这一系列的变革都对运维工作提出了新的挑战。  江苏飞搏软件技术有限公司(以下简称江苏飞搏)是国
从4月贵州大数据交易所正式运营,到7月武汉长江大数据交易所挂牌,短短3个月时间,大数据交易所就像星星之火,照亮了国内大数据交易市场美好的发展前景。  Gartner针对北美地区企业的一项调查显示,三分之二的数据价值产生在企业之外,而不是企业内部。由此可见,数据的公开和流动可以更好地促进数据价值的产生。中国政府已经认识到数据公开的重要性和必要性,目前正按部就班地推动数据的公开交易。从4月贵州大数据交