论文部分内容阅读
历时半年的2011 IBM DB2迁移之星大赛即将进入尾声。这项由中国计算机用户协会、中国计算机行业协会、中国软件行业协会数据库与应用软件分会、中国计算机报社四家单位主办，IBM独家赞助的比赛从2011年9月20日开赛以来，对国内数据库工程师、DBA、程序员、架构师等人群产生广泛的影响。借助大赛这个平台，很多优秀的数据库迁移方案诞生，诸多优秀的数据库开发者脱颖而出。
大数据给DBA和数据库开发者带来了很多的挑战。各种关系型数据库、非关系型数据库及商业数据库、开源数据库给用户带来了更多选择，也带来了更多挑战，DBA和开发者们只有玩通数据库，才能为企业提供最佳解决方案，应对在大数据时代众多企业面临的挑战。2011 IBM DB2迁移之星大赛从数据库迁移这一深层次出发，给了选手了解DB2数据库的机会，也帮助他们锻炼技能以应对大数据时代的到来。
迁移大赛促数据库迁移
IBM软件集团大中华区信息管理软件总经理卢伟权介绍，本次大赛预赛网上报名选手达2163人，其中百名进入复赛的选手组成36支团队参与复赛十强的争夺。目前，进入决赛的十强队伍已经产生。决赛时间定于3月14日，选手们将现场演示其解决方案，评委现场评分。3月15日，大赛颁奖典礼将于北京盘古七星酒店举行。进入决赛前三名的队伍，除奖金、证书外，还将获邀参观IBM美国实验室。
决赛选手来自于不同的行业，包括金融、政府、IT企业、物流等。大赛的十多名专业评委将对这些选手从Oracle到DB2的迁移方案进行打分，并评选出大赛的获奖队伍。
IBM在培养数据库相关的人才方面做了很多工作。其对中国人才的巨大需求是IBM赞助这次大赛的初衷之一。此外，数据库迁移是IBM 信息管理产品线近年来非常重要的市场策略，IBM推出一系列措施帮助客户进行数据库迁移，如成立迁移支持中心等，本次大赛也是IBM帮助客户进行数据库迁移的一个支持方案。
IBM中国开发中心信息管理技术生态系统经理王伟斌介绍，从2009年到2010年底，大约有超过1000家企业的数据库系统从Oracle迁移到DB2的开放平台上。“我们有强大的团队和大量的项目实践经验来帮助客户进行数据库迁移。”王伟斌表示。
IBM有一套成熟的迁移评估和实施方法，保证数据库迁移的商业价值和可靠性。在迁移开始前，IBM会先做迁移评估，从商业价值上看这次迁移是否值得；之后IBM会提供一些计划并做一些概念验证，帮助客户了解迁移的风险；再后来，IBM会进行真正的移植以及相关的测试，并给企业提供管理规划。“IBM全程提供技术支持，保证客户的迁移方案高效、没有风险。”王伟斌说。
DB2对其他产品的兼容性也降低了用户迁移数据库的难度。一些大型客户的应用可以保持在95%左右的兼容度，用户在迁移到DB2平台之后，只需进行很少的修改就可以运行之前的应用程序，这可以减少客户迁移到DB2的工作量。
“我们的数据库提供更高的性能，在很多方面领先于其他的数据库厂商。下一代DB2数据库会有更进一步的提升，不管是压缩比、稳定性，还是压缩维护，都会有更多的提高，这种提高不仅能提升客户的系统性能，还节省了成本。”王伟斌说。
可口可乐瓶装公司是一个典型的从Oracle移植到DB2的案例。通过迁移，可口可乐瓶装公司获得了很大效益：存储的需求减少40%，批处理的运转速度提高65%，简单的估算，未来五年数据库迁移能为他们节省75万美元。
大数据不只用Hadoop
除了数据库迁移，大数据也是DBA和开发者关心的热点。处理大数据的需求已经体现在互联网企业、企业级客户的业务中。
目前很多客户只是了解如何用如HDFS、NoSQL等去收集数据，用Hadoop等去组织大数据，而忽视了最难也是最需要解决的需求：如何分析大数据以及如何将其运用到真实的业务中。大家也越来越清楚地看到了大数据解决方案不是一个产品，而是一个全新的数据架构和平台，这个平台涵盖了很多不同的功能模块和产品。这个平台中也有基于开源的一些技术，比如Hadoop、HBase，也包括传统的数据仓库和分析工具等。
“处理大数据需要一整套全面的解决方案，我觉得一个单一的产品不能够完整地解决我们目前面临的大数据问题。” IBM中国开发中心信息管理软件总经理朱辉指出，“现目前大家听得最多的是Hadoop，但基于Hadoop一个产品不能够解决问题。传统的数据仓库在这当中仍然扮演非常重要的角色，它是海量数据的来源。”
朱辉举例说，在银行业，很多大银行的IT部门都在整理历史数据。以前，他们需要对业务交易信息存储1年，现在需要存5年，将来或许需要存15年。法律法规的要求越来越高，业务模式也需要对更多的信息进行分析，目前这些交易信息全部都在传统的交易系统、数据仓库中。
朱辉表示，在解决具有很大挑战的大数据问题时，IBM处于非常有利的竞争位置。平台一定是由多个传统的、新的技术和产品融合在一起搭起来的平台，不是仅靠一个Hadoop就能解决问题的。IBM拥有传统的关系型数据库DB2、传统的数据仓库、数据仓库设备、主数据管理，有针对非结构化数据存储的产品，有业务分析和预测报表的产品，有针对市场营销和客户分析的Unica等产品。“从供应商的角度来看，我们是最有机会把已经有的和新推出来的产品和技术，整合起来搭建新的大数据处理平台的厂商。” 朱辉说。
大数据处理平台的搭建需要供应商与客户一起研讨。供应商的行业背景、行业知识相当重要，这也体现了IT供应商的优势。
哪些用户最需要处理大数据
在朱辉看来，需要处理大数据问题的客户主要有两类：一是互联网公司，二是传统企业级用户。互联网公司是比较特别的客户，它们比较喜欢用开源代码软件，对系统的高可用性的要求不及传统的企业级客户。比如，在百度上搜索信息，你无法知道，即使知道了也不太关心百度是不是把100%的相关数据都给了你；你在淘宝上淘东西也不会关心全部2340种商品，但银行对交易数据的要求就不一样了。
拥有大量业务交易数据、客户数据的客户，如银行、电信、保险公司以及有大量非结构性数据要处理的医疗行业，对海量数据有真实需求，他们都非常重视业务转型，同时也有资本和IT基础来处理大数据，因此大数据应用最容易在这些行业开花结果。
很多互联网公司愿意接受，也勇于用开源代码去实现大数据处理，传统企业级用户则更青睐于IT供应商来协助他们走进大数据时代。
有一个业界流传很广的例子：一家做云数据库的厂商很轻易就拿到了一个某传统企业级用户的大数据项目，但项目很快就半途而废。“在我们碰到的企业级用户当中，大数据处理不是说用什么样的硬件架构存50TB数据的问题，它是一个非常复杂的需求。这个过程中不断有新的业务、新的数据进来。这种情况下只有为数不多的大的、能整合产品、提供咨询的供应商能满足传统企业级用户的需求。”朱辉说。
大数据给DBA和数据库开发者带来了很多的挑战。各种关系型数据库、非关系型数据库及商业数据库、开源数据库给用户带来了更多选择，也带来了更多挑战，DBA和开发者们只有玩通数据库，才能为企业提供最佳解决方案，应对在大数据时代众多企业面临的挑战。2011 IBM DB2迁移之星大赛从数据库迁移这一深层次出发，给了选手了解DB2数据库的机会，也帮助他们锻炼技能以应对大数据时代的到来。
迁移大赛促数据库迁移
IBM软件集团大中华区信息管理软件总经理卢伟权介绍，本次大赛预赛网上报名选手达2163人，其中百名进入复赛的选手组成36支团队参与复赛十强的争夺。目前，进入决赛的十强队伍已经产生。决赛时间定于3月14日，选手们将现场演示其解决方案，评委现场评分。3月15日，大赛颁奖典礼将于北京盘古七星酒店举行。进入决赛前三名的队伍，除奖金、证书外，还将获邀参观IBM美国实验室。
决赛选手来自于不同的行业，包括金融、政府、IT企业、物流等。大赛的十多名专业评委将对这些选手从Oracle到DB2的迁移方案进行打分，并评选出大赛的获奖队伍。
IBM在培养数据库相关的人才方面做了很多工作。其对中国人才的巨大需求是IBM赞助这次大赛的初衷之一。此外，数据库迁移是IBM 信息管理产品线近年来非常重要的市场策略，IBM推出一系列措施帮助客户进行数据库迁移，如成立迁移支持中心等，本次大赛也是IBM帮助客户进行数据库迁移的一个支持方案。
IBM中国开发中心信息管理技术生态系统经理王伟斌介绍，从2009年到2010年底，大约有超过1000家企业的数据库系统从Oracle迁移到DB2的开放平台上。“我们有强大的团队和大量的项目实践经验来帮助客户进行数据库迁移。”王伟斌表示。
IBM有一套成熟的迁移评估和实施方法，保证数据库迁移的商业价值和可靠性。在迁移开始前，IBM会先做迁移评估，从商业价值上看这次迁移是否值得；之后IBM会提供一些计划并做一些概念验证，帮助客户了解迁移的风险；再后来，IBM会进行真正的移植以及相关的测试，并给企业提供管理规划。“IBM全程提供技术支持，保证客户的迁移方案高效、没有风险。”王伟斌说。
DB2对其他产品的兼容性也降低了用户迁移数据库的难度。一些大型客户的应用可以保持在95%左右的兼容度，用户在迁移到DB2平台之后，只需进行很少的修改就可以运行之前的应用程序，这可以减少客户迁移到DB2的工作量。
“我们的数据库提供更高的性能，在很多方面领先于其他的数据库厂商。下一代DB2数据库会有更进一步的提升，不管是压缩比、稳定性，还是压缩维护，都会有更多的提高，这种提高不仅能提升客户的系统性能，还节省了成本。”王伟斌说。
可口可乐瓶装公司是一个典型的从Oracle移植到DB2的案例。通过迁移，可口可乐瓶装公司获得了很大效益：存储的需求减少40%，批处理的运转速度提高65%，简单的估算，未来五年数据库迁移能为他们节省75万美元。
大数据不只用Hadoop
除了数据库迁移，大数据也是DBA和开发者关心的热点。处理大数据的需求已经体现在互联网企业、企业级客户的业务中。
目前很多客户只是了解如何用如HDFS、NoSQL等去收集数据，用Hadoop等去组织大数据，而忽视了最难也是最需要解决的需求：如何分析大数据以及如何将其运用到真实的业务中。大家也越来越清楚地看到了大数据解决方案不是一个产品，而是一个全新的数据架构和平台，这个平台涵盖了很多不同的功能模块和产品。这个平台中也有基于开源的一些技术，比如Hadoop、HBase，也包括传统的数据仓库和分析工具等。
“处理大数据需要一整套全面的解决方案，我觉得一个单一的产品不能够完整地解决我们目前面临的大数据问题。” IBM中国开发中心信息管理软件总经理朱辉指出，“现目前大家听得最多的是Hadoop，但基于Hadoop一个产品不能够解决问题。传统的数据仓库在这当中仍然扮演非常重要的角色，它是海量数据的来源。”
朱辉举例说，在银行业，很多大银行的IT部门都在整理历史数据。以前，他们需要对业务交易信息存储1年，现在需要存5年，将来或许需要存15年。法律法规的要求越来越高，业务模式也需要对更多的信息进行分析，目前这些交易信息全部都在传统的交易系统、数据仓库中。
朱辉表示，在解决具有很大挑战的大数据问题时，IBM处于非常有利的竞争位置。平台一定是由多个传统的、新的技术和产品融合在一起搭起来的平台，不是仅靠一个Hadoop就能解决问题的。IBM拥有传统的关系型数据库DB2、传统的数据仓库、数据仓库设备、主数据管理，有针对非结构化数据存储的产品，有业务分析和预测报表的产品，有针对市场营销和客户分析的Unica等产品。“从供应商的角度来看，我们是最有机会把已经有的和新推出来的产品和技术，整合起来搭建新的大数据处理平台的厂商。” 朱辉说。
大数据处理平台的搭建需要供应商与客户一起研讨。供应商的行业背景、行业知识相当重要，这也体现了IT供应商的优势。
哪些用户最需要处理大数据
在朱辉看来，需要处理大数据问题的客户主要有两类：一是互联网公司，二是传统企业级用户。互联网公司是比较特别的客户，它们比较喜欢用开源代码软件，对系统的高可用性的要求不及传统的企业级客户。比如，在百度上搜索信息，你无法知道，即使知道了也不太关心百度是不是把100%的相关数据都给了你；你在淘宝上淘东西也不会关心全部2340种商品，但银行对交易数据的要求就不一样了。
拥有大量业务交易数据、客户数据的客户，如银行、电信、保险公司以及有大量非结构性数据要处理的医疗行业，对海量数据有真实需求，他们都非常重视业务转型，同时也有资本和IT基础来处理大数据，因此大数据应用最容易在这些行业开花结果。
很多互联网公司愿意接受，也勇于用开源代码去实现大数据处理，传统企业级用户则更青睐于IT供应商来协助他们走进大数据时代。
有一个业界流传很广的例子：一家做云数据库的厂商很轻易就拿到了一个某传统企业级用户的大数据项目，但项目很快就半途而废。“在我们碰到的企业级用户当中，大数据处理不是说用什么样的硬件架构存50TB数据的问题，它是一个非常复杂的需求。这个过程中不断有新的业务、新的数据进来。这种情况下只有为数不多的大的、能整合产品、提供咨询的供应商能满足传统企业级用户的需求。”朱辉说。