论文部分内容阅读
作者简介
张冬，资深存储专家，《大话存储》及《大话存储2》的作者。多年来一直从事存储技术的设计、研发及传授，拥有3项技术专利。现任职于某知名厂商，负责存储产品/方案的设计与开发工作。
编者按近10年来，由于数据量的迅速飙升，存储需求日益猛增，由此推动着存储技术日新月异地向前发展，并不断演绎着优胜劣汰的故事。现在被广泛采用的传统外置存储系统，因需求而生，随技术发展而更新换代。不过，固态硬盘和云计算等技术的出现，也许使这一存储形式遇到了前所未有的挑战。本文作者着力分析了外置存储系统的前世今生，以及未来的前景，本报将分上、下两期连载。
前世：不断更新换代
1. 硬件发展，软件给力
从2002年到2009这7年间，应该说是存储行业在中国落地生根的时期。
在这个时期，国内有不少存储业界的工程师活跃在各种技术论坛里，热烈讨论着存储系统的基本原理、部署配置等。初期，IBM从LSI公司OEM的FAStT系列存储系统在国内被广泛使用，而技术论坛里大都是关于该系列存储系统的讨论。在高端存储中，大家讨论的重点则基本聚焦在IBM Shark系列，而对EMC和HDS等专业存储公司的产品的关注和探讨明显不如IBM，其中一个重要原因是因为IBM的存储系统大量与其服务器捆绑销售，而EMC和HDS这两家公司却只有存储产品。
之后，FAStT的换代产品出现，包括OEM LSI公司的DS4000、DS5000系列等，它们本质上是一个硬件规格不断提升的过程。然而，存储行业的发展就像一个人的成长过程一样，首先要长身体，但身体长到一定阶段时，就需要长心智了。随着上层业务的多样化发展，底层存储不再只是一个提供数据存储的盒子，它需要一些灵活易用的数据管理功能来丰富它的价值，比如快照克隆、扩容复制、压缩重删、超供回收以及虚拟化等。
在中国，存储从业人员的水平也在不断提高，这从最近10年间国内几个著名存储论坛中所讨论的话题便可以看出。从最初对一些基本概念和彼此间异同的一知半解，到后来对各厂商中高端存储设备的内部架构以及各种数据管理特性、原理、实现、价值及应用场景的讨论，以及之后更进一步探讨存储系统的选型、部署和规划管理等，我相信随着国内业界对存储的不断认知和积累，包括厂商、集成商和最终用户，大家的水平不断提高，终将会形成更加专业的气氛和促使国内厂商不断自主研发进取的动力。
2. Scale-Out受追捧
最近10年间，存储厂商发生了不小的变迁。2008年，IBM将早先收购的XIV推向了市场，并且定位在高端存储级别，引起了不小的轰动，这是个里程碑式的事件，它不仅象征着传统高端存储封闭式架构的土崩瓦解，而且还引起了一股Scale-Out热。紧其随后，EMC把经营了多年的传统高端Symmetrix DMX系列的核心软件迁移到了开放式硬件平台上，推出了新一代Scale-Out高端存储系统Symmetrix V-Max。之后一年，HDS也按捺不住，将其传统高端存储USP V也迁移到了开放硬件平台，变身成了VSP存储系统，并宣称其为Scale-Out架构，但VSP并不十分开放，其形态上，笔者认为依然是传统高端的封闭式架构，不过CPU从Power PC变成了Intel x86，同时保留了ASIC芯片，外观上采用大背板，CPU、内存、IO板分离式热插拔，这些依然还是传统高端存储系统的元素。
3. 统一存储被认可
2011年，EMC将其Celerra产品当做机头，后端挂接CLARiiON存储，包装成了VNX系列，当然硬件平台是升级之后的。这个产品没有什么本质创新，但其同时推出了一款低端的VNXe系列，该产品看似低端，其实暗藏玄机。笔者今年3月曾在文章《VNXe会给存储系统带来颠覆性变革吗？》中详细剖析了VNXe内部，并做出推断，存储 虚拟机就是百变金刚，存储 计算，即应用存储很有可能会是后续外置存储系统的发展方向。果不其然，在今年9月的VMware World大会上，EMC明确地表述了这个观点，存储直接运行虚拟机，直接与应用结合，抢占部分服务器市场。在应用存储这方面，国内某软件公司就颇具前瞻性。
2010年，IBM将其多个产品的多个模块进行了堆叠组合，形成了Storwize V7000中端存储产品，这款产品可以说是IBM真正自主研发的第一款中端存储系统。EMC在经历了Symmetrix V-Max变革之后，在中端存储系统产品线，也终结了其CX系列，改头换面为VNX系列，后者实则是CX系列升级的硬件版本加上Celerra NAS机头组合而成的一款所谓Scale-Out的统一存储。
今年9月，HP也成功地将其收购的3PAR存储硬件升级为P10000产品型号。
说到统一存储，必须提到NetApp。作为EMC的头号对手（存储界仅剩下三家专业聚焦存储的巨头，为EMC、NetApp、HDS），NetApp是一个老牌存储公司了，它上世纪90年代靠独立NAS起家，之后通过在文件系统上虚拟块空间，从而支持了块级访问，并提出了Unified Storage（统一存储）概念，广受业界追捧，直到今天还没退火。NetApp凭借其强大的增值功能和简便的配置占据了NAS市场老大的位置。从早期的FAS270、FAS980，到后来的FAS2000、FAS3000、FAS6000，直到最近的FAS3200和FAS6200，NetApp在硬件平台上迁移得很平稳，形态上没有什么大的变化（除了最近的FASx200系列平台支持IO扩展柜之外）。NetApp的核心竞争力在于其软件，它从ONTAP 7.0操作系统开始，支持Flexvol特性，这也是存储业界第一个Thin技术的原型，不过，“Thin”这个词似乎并不是NetApp推广出来的。其核心层WAFL文件系统是一个非常强大的角色，号称“The last word in filesystem”的ZFS就是借鉴了WAFL的思想，并在多方面进行了改良的文件系统，以及变种BTRFS。
然而，这样一个看似红红火火的存储市场，即将迎来的可能会是一个严酷的冬天。
今生：遭遇挑战
从存储产品形态变化可以看得出来，在硬件形态上，高端存储传统架构崩塌，转为开放式架构，那么存储与服务器架构已经没有本质区别，这一步的变化已经奠定了外置存储系统体系走向崩塌的基础。一个事物总是要向前发展，传统双控存储系统在大架构体系上已经没有可以拿得出手的新鲜东西了，所以不得不向Scale-Out架构来发展，就像CPU多核化一样，上百核的CPU都已经可以商用了。那么，对于存储系统来说，Scale-Out的下一步又会是什么呢？在没有革命性新技术出来之前，笔者认为，外置存储也就只能这样了，无非就是硬件规格、接口速率的提升过程，激进一些可能直接以磁盘为单位来做Scale-Out，让控制器节点数达到系统内的硬盘数量级，而每个控制器节点规格可以降低，但是这始终还是Scale-Out。
那么，为什么外置存储系统后续的日子会越来越难过？这还得从最近的两个热门话题说起，一个是固态存储介质，另一个则是炒得火热的“云”。
1. 存储与服务器同质化
上一代存储产品在硬件上还是颇具特色的，尤其是以EMC Symmetrix和HDS USP为代表的高端平台，在大背板上安插CPU板、内存板、IO板等。在上一代高端存储中，普遍使用PowerPC处理器，而中端产品中则到处可觅ASIC的身影，比如IBM DS4000/DS5000、HDS AMS2000等。但到了今天，Intel处理器的x86硬件平台似乎已经统治了从高端到中端甚至中低端的存储阵列，内部架构与普通x86 PC服务器无异，只是外观以及其他一些专门为硬盘槽位以及维护性考虑的细节上略有不同。而只有一些低端产品依然使用ASIC来降低成本。
外置存储发展到这个阶段，已经在硬件上失去了它独立发展的“借口”。其次，在软件上，外置存储的“借口”似乎也越来越脆弱。随着各种卷管理软件，比如传统的LVM、CLVM甚至GLVM以及Windows平台下的动态卷越做越强，还有Symantec从VERITAS继承来的驰骋多年依然宝刀未老的VxVM以及Storage Foundation平台，再加上号称“The last word in filesystem”的ZFS以及其变种Btrfs，甚至原Sun公司的统一存储软件ComStar等平台，这些角色的发展对于传统外置存储的软件层来说都是威胁。比如ZFS，容错保护、数据校验纠错、快照、Thin、重复数据删除、Clone、Replication等外置存储用来增值的特性，它也都已经集成了，只要将其架设到JBOD或者服务器自带存储介质上，即可形成一个差不多的存储系统，既可以用做自身使用，也可以通过SCSI Target向外部提供存储空间，成为一个独立的存储设备。
2. 固态存储介质终将一统天下
固态存储介质的好处想必大家都已经很了解了。固态存储介质迟早会取代机械磁盘，这是大势所趋，虽然短期内不太可能，但不排除若干年之后不会发生。固态存储介质的可靠性、容量、存储密度以及成本均会变得越来越让人容易接受。机械磁盘届时已经没有必要存在，而磁带可能相对于机械磁盘要稍晚些一样会被固态存储介质所替代。Flash硅片也有不同的规格等级，使用低规格大容量的Flash阵列完全可以提供比传统物理带库或者VTL更划算的备份介质。这样，从RAM到归档设备，一条路下来就不会有任何机械部件存在，而且性能和成本可以是平滑下降的。
相信不少人都在机房看到过某些高端存储产品占用了整整一个机柜的空间，风扇呼呼地吹着，噪音让人头疼，结果上面只插了几十块甚至十几块磁盘。抛开其他因素，从任何方面讲，这都属于投资浪费。这几十块机械硬盘在高端存储上所能提供的性能，可能只需要几块SSD就可以满足了。至于在容量方面，目前很多应用环境中，所配置的容量都是过剩的，由于机械盘无法提供太高的IOPS，不得不用几十块、上百块甚至数百上千块磁盘来堆出所需要的性能，然而磁盘容量的增长速度远比性能增长的速度快，那么，数百块600GB的磁盘，就可以达到上百TB的空间，而这些空间绝大多数可能都被浪费了，只因为单个机械盘的性能不够。机械盘拿数量来换性能，容量过剩；而SSD则是性能过剩，容量稍小，且价格太高。但是容量和寿命问题可以随着技术的发展不断得到解决，价格也会不断降低，而且如果从耗电、占地等多个方面综合判断，SSD显然是划算的。
张冬，资深存储专家，《大话存储》及《大话存储2》的作者。多年来一直从事存储技术的设计、研发及传授，拥有3项技术专利。现任职于某知名厂商，负责存储产品/方案的设计与开发工作。
编者按近10年来，由于数据量的迅速飙升，存储需求日益猛增，由此推动着存储技术日新月异地向前发展，并不断演绎着优胜劣汰的故事。现在被广泛采用的传统外置存储系统，因需求而生，随技术发展而更新换代。不过，固态硬盘和云计算等技术的出现，也许使这一存储形式遇到了前所未有的挑战。本文作者着力分析了外置存储系统的前世今生，以及未来的前景，本报将分上、下两期连载。
前世：不断更新换代
1. 硬件发展，软件给力
从2002年到2009这7年间，应该说是存储行业在中国落地生根的时期。
在这个时期，国内有不少存储业界的工程师活跃在各种技术论坛里，热烈讨论着存储系统的基本原理、部署配置等。初期，IBM从LSI公司OEM的FAStT系列存储系统在国内被广泛使用，而技术论坛里大都是关于该系列存储系统的讨论。在高端存储中，大家讨论的重点则基本聚焦在IBM Shark系列，而对EMC和HDS等专业存储公司的产品的关注和探讨明显不如IBM，其中一个重要原因是因为IBM的存储系统大量与其服务器捆绑销售，而EMC和HDS这两家公司却只有存储产品。
之后，FAStT的换代产品出现，包括OEM LSI公司的DS4000、DS5000系列等，它们本质上是一个硬件规格不断提升的过程。然而，存储行业的发展就像一个人的成长过程一样，首先要长身体，但身体长到一定阶段时，就需要长心智了。随着上层业务的多样化发展，底层存储不再只是一个提供数据存储的盒子，它需要一些灵活易用的数据管理功能来丰富它的价值，比如快照克隆、扩容复制、压缩重删、超供回收以及虚拟化等。
在中国，存储从业人员的水平也在不断提高，这从最近10年间国内几个著名存储论坛中所讨论的话题便可以看出。从最初对一些基本概念和彼此间异同的一知半解，到后来对各厂商中高端存储设备的内部架构以及各种数据管理特性、原理、实现、价值及应用场景的讨论，以及之后更进一步探讨存储系统的选型、部署和规划管理等，我相信随着国内业界对存储的不断认知和积累，包括厂商、集成商和最终用户，大家的水平不断提高，终将会形成更加专业的气氛和促使国内厂商不断自主研发进取的动力。
2. Scale-Out受追捧
最近10年间，存储厂商发生了不小的变迁。2008年，IBM将早先收购的XIV推向了市场，并且定位在高端存储级别，引起了不小的轰动，这是个里程碑式的事件，它不仅象征着传统高端存储封闭式架构的土崩瓦解，而且还引起了一股Scale-Out热。紧其随后，EMC把经营了多年的传统高端Symmetrix DMX系列的核心软件迁移到了开放式硬件平台上，推出了新一代Scale-Out高端存储系统Symmetrix V-Max。之后一年，HDS也按捺不住，将其传统高端存储USP V也迁移到了开放硬件平台，变身成了VSP存储系统，并宣称其为Scale-Out架构，但VSP并不十分开放，其形态上，笔者认为依然是传统高端的封闭式架构，不过CPU从Power PC变成了Intel x86，同时保留了ASIC芯片，外观上采用大背板，CPU、内存、IO板分离式热插拔，这些依然还是传统高端存储系统的元素。
3. 统一存储被认可
2011年，EMC将其Celerra产品当做机头，后端挂接CLARiiON存储，包装成了VNX系列，当然硬件平台是升级之后的。这个产品没有什么本质创新，但其同时推出了一款低端的VNXe系列，该产品看似低端，其实暗藏玄机。笔者今年3月曾在文章《VNXe会给存储系统带来颠覆性变革吗？》中详细剖析了VNXe内部，并做出推断，存储 虚拟机就是百变金刚，存储 计算，即应用存储很有可能会是后续外置存储系统的发展方向。果不其然，在今年9月的VMware World大会上，EMC明确地表述了这个观点，存储直接运行虚拟机，直接与应用结合，抢占部分服务器市场。在应用存储这方面，国内某软件公司就颇具前瞻性。
2010年，IBM将其多个产品的多个模块进行了堆叠组合，形成了Storwize V7000中端存储产品，这款产品可以说是IBM真正自主研发的第一款中端存储系统。EMC在经历了Symmetrix V-Max变革之后，在中端存储系统产品线，也终结了其CX系列，改头换面为VNX系列，后者实则是CX系列升级的硬件版本加上Celerra NAS机头组合而成的一款所谓Scale-Out的统一存储。
今年9月，HP也成功地将其收购的3PAR存储硬件升级为P10000产品型号。
说到统一存储，必须提到NetApp。作为EMC的头号对手（存储界仅剩下三家专业聚焦存储的巨头，为EMC、NetApp、HDS），NetApp是一个老牌存储公司了，它上世纪90年代靠独立NAS起家，之后通过在文件系统上虚拟块空间，从而支持了块级访问，并提出了Unified Storage（统一存储）概念，广受业界追捧，直到今天还没退火。NetApp凭借其强大的增值功能和简便的配置占据了NAS市场老大的位置。从早期的FAS270、FAS980，到后来的FAS2000、FAS3000、FAS6000，直到最近的FAS3200和FAS6200，NetApp在硬件平台上迁移得很平稳，形态上没有什么大的变化（除了最近的FASx200系列平台支持IO扩展柜之外）。NetApp的核心竞争力在于其软件，它从ONTAP 7.0操作系统开始，支持Flexvol特性，这也是存储业界第一个Thin技术的原型，不过，“Thin”这个词似乎并不是NetApp推广出来的。其核心层WAFL文件系统是一个非常强大的角色，号称“The last word in filesystem”的ZFS就是借鉴了WAFL的思想，并在多方面进行了改良的文件系统，以及变种BTRFS。
然而，这样一个看似红红火火的存储市场，即将迎来的可能会是一个严酷的冬天。
今生：遭遇挑战
从存储产品形态变化可以看得出来，在硬件形态上，高端存储传统架构崩塌，转为开放式架构，那么存储与服务器架构已经没有本质区别，这一步的变化已经奠定了外置存储系统体系走向崩塌的基础。一个事物总是要向前发展，传统双控存储系统在大架构体系上已经没有可以拿得出手的新鲜东西了，所以不得不向Scale-Out架构来发展，就像CPU多核化一样，上百核的CPU都已经可以商用了。那么，对于存储系统来说，Scale-Out的下一步又会是什么呢？在没有革命性新技术出来之前，笔者认为，外置存储也就只能这样了，无非就是硬件规格、接口速率的提升过程，激进一些可能直接以磁盘为单位来做Scale-Out，让控制器节点数达到系统内的硬盘数量级，而每个控制器节点规格可以降低，但是这始终还是Scale-Out。
那么，为什么外置存储系统后续的日子会越来越难过？这还得从最近的两个热门话题说起，一个是固态存储介质，另一个则是炒得火热的“云”。
1. 存储与服务器同质化
上一代存储产品在硬件上还是颇具特色的，尤其是以EMC Symmetrix和HDS USP为代表的高端平台，在大背板上安插CPU板、内存板、IO板等。在上一代高端存储中，普遍使用PowerPC处理器，而中端产品中则到处可觅ASIC的身影，比如IBM DS4000/DS5000、HDS AMS2000等。但到了今天，Intel处理器的x86硬件平台似乎已经统治了从高端到中端甚至中低端的存储阵列，内部架构与普通x86 PC服务器无异，只是外观以及其他一些专门为硬盘槽位以及维护性考虑的细节上略有不同。而只有一些低端产品依然使用ASIC来降低成本。
外置存储发展到这个阶段，已经在硬件上失去了它独立发展的“借口”。其次，在软件上，外置存储的“借口”似乎也越来越脆弱。随着各种卷管理软件，比如传统的LVM、CLVM甚至GLVM以及Windows平台下的动态卷越做越强，还有Symantec从VERITAS继承来的驰骋多年依然宝刀未老的VxVM以及Storage Foundation平台，再加上号称“The last word in filesystem”的ZFS以及其变种Btrfs，甚至原Sun公司的统一存储软件ComStar等平台，这些角色的发展对于传统外置存储的软件层来说都是威胁。比如ZFS，容错保护、数据校验纠错、快照、Thin、重复数据删除、Clone、Replication等外置存储用来增值的特性，它也都已经集成了，只要将其架设到JBOD或者服务器自带存储介质上，即可形成一个差不多的存储系统，既可以用做自身使用，也可以通过SCSI Target向外部提供存储空间，成为一个独立的存储设备。
2. 固态存储介质终将一统天下
固态存储介质的好处想必大家都已经很了解了。固态存储介质迟早会取代机械磁盘，这是大势所趋，虽然短期内不太可能，但不排除若干年之后不会发生。固态存储介质的可靠性、容量、存储密度以及成本均会变得越来越让人容易接受。机械磁盘届时已经没有必要存在，而磁带可能相对于机械磁盘要稍晚些一样会被固态存储介质所替代。Flash硅片也有不同的规格等级，使用低规格大容量的Flash阵列完全可以提供比传统物理带库或者VTL更划算的备份介质。这样，从RAM到归档设备，一条路下来就不会有任何机械部件存在，而且性能和成本可以是平滑下降的。
相信不少人都在机房看到过某些高端存储产品占用了整整一个机柜的空间，风扇呼呼地吹着，噪音让人头疼，结果上面只插了几十块甚至十几块磁盘。抛开其他因素，从任何方面讲，这都属于投资浪费。这几十块机械硬盘在高端存储上所能提供的性能，可能只需要几块SSD就可以满足了。至于在容量方面，目前很多应用环境中，所配置的容量都是过剩的，由于机械盘无法提供太高的IOPS，不得不用几十块、上百块甚至数百上千块磁盘来堆出所需要的性能，然而磁盘容量的增长速度远比性能增长的速度快，那么，数百块600GB的磁盘，就可以达到上百TB的空间，而这些空间绝大多数可能都被浪费了，只因为单个机械盘的性能不够。机械盘拿数量来换性能，容量过剩；而SSD则是性能过剩，容量稍小，且价格太高。但是容量和寿命问题可以随着技术的发展不断得到解决，价格也会不断降低，而且如果从耗电、占地等多个方面综合判断，SSD显然是划算的。