传统外置存储系统或将迎来冬天(下)

来源 :计算机世界 | 被引量 : 0次 | 上传用户:chinafeed
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  编者按:近10年来,由于数据量的迅速飙升,存储需求日益猛增,由此推动着存储技术日新月异地向前发展,并不断演绎着优胜劣汰的故事。现在被广泛采用的传统外置存储系统,因需求而生,随技术发展而更新换代。不过,固态硬盘和云计算等技术的出现,也许使这一存储形式遇到了前所未有的挑战。本文作者着力分析了外置存储系统的前世今生,以及未来的前景,分上、下两期连载,本报上期已刊登了本文的第一部分。
  
  今生 遭遇挑战
  
  固态存储介质
  终将一统天下
  (续上期)
  1. 历史“轮回”
  外置存储控制器的前世形态其实是插在服务器里的RAID卡,那么,之后为何会发展成为独立的“存储系统”呢?其中有多种因素,性能和空间为主要因素。另外,用于多主机共享存储也是因素之一,不过,这个因素目前看来有点“鸡肋”,到底有多少主机需要与其他主机共享空间呢?它们只是在“共享同一个设备”。真正需要共享空间的有两种情况,一种是特殊应用,比如视频领域、Web Server集群、HPC集群等,而这些场景毕竟有限;其次则是最近几年热起来的精简配置(Thin Provision)概念,确实可以做到全局空间动态分配回收,但又有多少人能真正用到它?从这一点上看,“多主机共享存储”这个因素不会阻止底层技术发展所导致的上层形态的变革。所以,共享同一个设备或同一个空间,只是为技术的发展所创造的一个噱头。而笔者相信,当存储形态重新轮回后,又会有新的噱头被创造出来。
  
  所谓“轮回”,具体是指由于固态存储介质成本的不断下降、性能和容量的不断提升,以及体积的不断减小,在一台服务器中集成高密度、大容量、超高性能的Flash介质无疑还是最方便的存储形态。
  
  想想看,你不再需要购买什么FC HBA、SAS HBA、Infiniband HBA,也不需要理会什么iSCSI、FC、SAS协议,部署时不需要连接一大堆线缆,更不需要购置什么所谓的“存储交换机”。而导致当年RAID卡进化为外置控制器的第一个问题,也就是服务器空间、容量和性能的问题,就这么轻易地被Flash固态介质解决了,而且解决得非常彻底。
  至于第二个问题,也就是数据共享访问,上文已经说明了,其应用环境有限,有点鸡肋。但是,如果确实需要共享访问怎么办?也好办,外部网络带宽正飞速发展,多个独立服务器节点完全可以通过外部网络,将各自的存储介质通过某种分布式卷管理系统或分布式文件系统联合起来,形成一个大的共享存储池,这些技术已经比较成熟,尤其是云架构热起来之后,这些问题在技术上根本不是问题。
  这就是“轮回”,外置存储控制器在出来“溜达”了一圈之后,最终遇上了Flash挡道,不得不乖乖地又“投胎”于前世的RAID卡,重回服务器机箱中,这是历史发展的规律。
  2. 为什么要用SAN?
  最近与企业IT管理员交流时,有人提出了类似“我为什么要使用SAN?”等问题,如果在几年前,我或许会直接回答“SAN可以消除孤岛,使数据共享”,等等。但今天,我不会再拿着这些当初被忽悠的词句去误导别人了,至少回答之前要问清楚其目前的业务类型、数据量以及后续需求等。
  有人会问,数据如果不集中存放的话,备份怎么办呢?还可以集中备份和LAN-Free吗?其实,如果搞清楚备份数据流就无需担心这一问题。当前,就算是所谓“LAN-Free”也一样需要数据先从SAN阵列中读数据到主机,然后再从主机写到备份介质。笔者在另一篇文章《乱七八糟的“Free”》中对这些名词有详细的解释。而对于DAS模式下的备份,数据只是从每个服务器本地盘读出来,然后写到备份介质中,与SAN备份没有本质区别,甚至速度可以比SAN备份更快。至于所谓“集中备份”,除非使用NDMP设备到设备直接备份模式,那么这个“集中备份”也没有意义,现在数据先从主机读出再写到备份介质,依然是主流的备份方式,这与DAS下的备份数据流没有区别。
  再来看看DAS模式下的容灾。在SAN模式下,直接通过两地的阵列做集中的数据远程复制与接收,确实比DAS模式下每个节点单独做复制要方便得多。但回头想想,如果这些节点是处于云中的,由两个云之间来做容灾,那么又会被统一起来。而且目前仍有非常多的系统采用的是基于应用层的数据复制,而不是底层存储层,比如Oracle DataGuard、DB2的HADR等。这类复制能够保证数据的一致性且可回放,底层存储有时并不能完全信任,10次中有2次会产生应用无法启动的数据不一致问题。
  另外,SAN的另一个噱头,即“集中管理”。如果整个数据中心只有少数几台集中存储设备,那管理起来确实比较方便,尤其是对一个尚没有完善的自动化运维体系的数据中心来讲。在配置存储空间时,如果有一套比较好的管理软件,那么在一个全DAS环境中配置起来也不见得比配置集中存储来得复杂。但对于后期的维护操作,全DAS存储环境确实会增加不少复杂度,这就需要一套完善的自动化运维工具和体系来应对这个问题。
  至于各种外置存储所提供的快照、重复数据删除(简称删重)、精简配置等数据管理特性,随着芯片性能的不断提升,在RAID卡上直接集成这些功能,将不再是难事。
  总之,基于上述种种原因,最终会将目前的传统外置存储系统逼上绝路。
  3. VTL成备份软件厂商的傀儡
  VTL作为一种外置存储系统,已经存在很长时间了。其幕后始作俑者其实是一些主流的备份软件厂商。这些厂商在操控各种物理带库、磁带机和机械手方面拥有大量技术积累,一般厂商较难掌握,因此,他们要保留这套接口,哪怕介质从磁带换成了硬盘。对物理带库体系的操控、对上层应用的数据接口以及备份之后数据生命周期管理,这三大“法宝”就是这些厂商的生存根基,他们不想失去任何一个。
  而少数创新型的备份软件厂商或初创不久的厂商则热衷于推广纯D2D备份,更专注上层的数据备份与恢复管理。这些厂商在物理带库、机械手等方面基本没有积累,因此,他们努力要使VTL彻底退位。
  而后续低规格大容量的Flash作为备份介质是必然结果,如果那时候的数据和操控接口依然沿用传统物理带库的SCSI流式指令以及机械手控制指令,就说不过去了。由于Flash可以随机寻址,控制Flash选择和读写的是片选器(Chip Enabler)以及ASIC芯片,这些都是电子器件,何来机械手?
  VTL接口被替代之后,下一步就需要数据记录格式的替代,让备份之后的数据直接可以看到,直接可以从备份介质中恢复到源端,而不是使用物理磁带的格式去读写和存放。
  所以,传统物理磁带以及VTL备份介质体系也即将走向终结。
  
  云计算架构终
  将“埋没”存储
  
  既然传统的存储外置盒子或将枯萎,那么是否可以寻找其他出路,比如虚拟化、数据迁移等数据管理方面的“智能一些的盒子”或者方案呢?很不幸的是,这条路可能也将会被堵住了。
  
  1. 阵列能做的,云几乎都能做
  什么是云存储或者存储云?笔者认为,传统外置存储就是用几个控制器挂上后端的磁盘扩展柜,然后对外提供存储空间;而存储云就是用一堆服务器上面跑的软件当做控制器,挂上后端一堆异构厂商的各种存储介质,包括JOBD、双控或者多控阵列、NAS、VTL、带库等,并向外提供各种不同访问方式的存储空间。服务器集群上跑的是某种分布式卷和/或分布式文件系统,这种系统具有原生的异构支持,不管底层使用哪家的阵列,都可以被收纳为存储资源。存储云还需要做各种数据管理功能,比如容错、快照、精简配置、删重、动态分级、克隆、迁移、远程复制、容灾等。这些特性,在一个分布式文件系统或者卷管理系统上是完全可以做的,但是一些比较耗费计算资源的,比如删重,则可以下放给底层设备来做。
  云为何不信任,或者说不能够信任底层设备上原配的这些功能呢?答案很简单,就是对异构的支持。存储云中不可能只有一家设备厂商的设备,而不同厂商设备之间的这些特性又是不兼容的,所以只有在上面的虚拟化层,也就是分布式数据管理层来处理这些特性,此时,外置存储系统就是彻彻底底的一块大硬盘,不管你是EMC Symmetrix还是HDS VSP/USP,还是JOBD,甚至是服务器本地磁盘,是否是Scale-Out架构甚至都已经没有意义,因为上层的虚拟化层自己可以Scale-Out。对于云来讲,或许只有磁盘有意义,其他比如JBOD、控制器、Scale-Out架构之类,云统统不在乎。
  2. 观VMware动作,体会后续趋势
  如今VMware已经是云架构中的核心角色。既然成为核心,那么,它就有权利发布一系列接口让别人来适配它,从第一个比较系统的VAAI,到第二个VASA,再到将来会发布的第三代API。
  在第一代VAAI中,VMware只是将一些原本由Hypervisor做的数据操作工作下放给了外部存储系统来做,以提高效率。从其全名vStorage APIs for Array Integration就可以隐隐领会出VMware还是比较看重外置存储的,能够将重要任务交给它们。
  而在第二代VASA(vStorage APIs for Storage Awareness)中,显然可以看出VMware进一步控制外部存储的欲望,VMware需要了解到更多的外部存储的信息。做过底层存储开发的人都知道,硬盘驱动程序会探知控制器后面所挂的硬盘的各种信息,包括容量、是否支持WriteBack模式缓存及具体类型、是否支持队列、最大传输单元等。而VMware这套VASA接口分明就是做了硬盘驱动的工作,以便后续更好地对外置存储进行控制。显然,外置存储对于VMware来说,就相当于一块大硬盘。
  在今年的VMworld大会上,VMware的动作则已经显露无疑,VMware计划将vSphere环境中的存储管理和精简配置进行“根本性的”改变,无需再设置LUN、RAID组合NAS挂载点,VMware工程师Satyam Vaghani称新版API将使用工具,如I/O Demultiplexer、Capacity Pool以及VM Volume。对于第三代存储API的细节目前尚不知,但从字面上来看,第三代API将会对外部存储实现彻底的大统一,任何存储厂商在VSphere下都会被同质化,谁也别想冒出来,那些传统的特性对于VMware存储虚拟层来讲,都是“小儿科”。
  各厂商在新产品的宣传噱头上,除了硬件规格之外(其实硬件规格大家都差不多),就是对固态存储介质的应用方案,再就是与云搭上边,也就是Thin以及VMware API支持。
  因此,外置存储系统在经历了从服务器内置到外部独立控制器的进化过程之后,在虚拟服务器的召唤之下,其地位又回到了原点。
  
  未来 前途渺茫?
  这场残酷的严冬,对于国内外置存储厂商来讲,将会是一个异常难熬的过程。而那些专注于硬件上层功能、方案的存储厂商不会受到太大影响。比如备份容灾等,不管底层采用什么介质、什么架构,用户对备份和容灾的投入将是持续的。而且当机械操控协议彻底被废止,也就是VTL真正被淘汰之后,备份软件厂商就会更加专注于对数据的管理,且门槛会降低很多,从而催生更多的竞争者进入,而不再是几家在机械操控协议和兼容性方面有多年积累的厂商垄断市场。当然,这些厂商不能只在备份容灾方面发展,“存储”这个词不仅仅是硬件盒子 备份容灾,还有数据管理、应用存储优化等。
  那些做盒子的传统外置存储厂商怎么办?这类厂商生存在IT生态链最底层,铺开大摊子,拼规格、拼价格、拼量,备货、物流、维护,好不热闹,可是这一层却是利润最低的。而现在其死敌——固态存储介质正在茁壮成长,IT大架构也在向着云方面发展,对此,它们只能望洋兴叹了。
  因此,传统存储厂商转型迫在眉睫,尤其是那些专注于生产存储产品的厂商,要么做成全球最大的存储盒子加工厂,以量取胜,要么就往上走,让存储设备直接体现业务价值。而要往生态链高层迁徙的话,就必须脱离做盒子的老思想,盒子里面的东西能解决用户的问题,才是最重要的。
  而如果想“傍”着云来做些东西的话,存储 云就是所谓的“云存储”吗?“云存储”其实并不存在,任何形式的存储都是云存储,包括单块硬盘。存在的只有存储云。前者是依然想以存储为中心,而这可以说是逆势而为。而存储云则是以云为中心,也就是以将任何形式的异构存储空间整合利用的云虚拟化层为中心。如果对这一点理解存在偏差,认为做云存储就是去做一款新形态的分布式存储硬件,那基本上还是走老路。
  但是如果去做存储云,也就是专注于虚拟化整合,那么这与存储硬件就基本脱离关系了,而完全转向了数据中心管理软件,也就是网管领域,或者说自动化运维领域。
  最后,不得不说一下赛门铁克的Storage Foundation(SF)产品,它可以适配任何异构存储,将底层存储空间虚拟化成大的统一存储池。但之前SF貌似生错了年代,太超前了。而今天,当云架构有这个诉求的时候,机会就摆在眼前了。赛门铁克已经拥有了多厂商支持的平台,那么对于它来讲,开发一个用于云底层的大统一的存储基础架构,从而为各种虚拟机Hypervisor提供底层资源是水到渠成的事情,我们静观其变吧。
  
  后方被固态存储介质追杀,前方则遭遇云架构的围堵,传统外置存储,将会走进一条窄巷子,需要外置存储的场景将会仅限在少数行业的少数系统中,仅有少数厂商在这一市场挣扎存活,并等待着新技术革命时代的到来,甚至单纯的存储厂商或被IT巨鳄们收购也不是没可能。而我们这些所谓“做存储的”,出路又在何方?
  
  
  面对Flash,存储厂商众生相
  既然Flash被看做是传统存储的死敌,那么,目前一些存储厂商对Flash是什么态度呢?
  最早痛恨Flash的专业存储厂商是NetApp。笔者曾在文章《引领潮流、随波逐流、最后追赶潮流——在荆棘中挣扎前进的NetApp》中就WAFL与Flash之间的恩怨做过分析。但是不知道当初NetApp反对Flash是不是也有更深一层的担忧,即Flash或将革掉自己的命。但是大势不可挡,如今所有主流存储厂商都针对固态介质推出了产品,比如各种动态分级或缓存技术。NetApp的PAM加速卡就是一张插在其FAS阵列中的PCIe Flash卡,其被用做WAFL文件系统的缓存,而不是直接承载WAFL主体数据。NetApp也曾经说过,将来存储系统中只有两种介质:SSD SATA,但至少目前看来,NetApp最新的FAS阵列依然是支持SAS与FC磁盘。
  EMC对待固态介质的态度一向都是积极的,它知道固态介质势不可挡,逃避是没有用的,也曾经大有信心地说SSD将取代FC盘,并且从FAST 1.0到FAST 2.0再到FAST VP,一直不遗余力地让SSD在阵列上发挥着最大价值。其他厂商则基本都是追随者、支持SSD,包括开发动态数据分级/缓存方案,以及在内核中针对Flash介质特有的IO特性做各方面的优化。
  Fusion-io是一家专做PCIe Flash卡的尖兵厂商,在互联网后端这个细分市场占据了不少市场份额。互联网企业IT系统的前端和后端是当今最流行的IT技术的发源地,从这里也可以对后续IT领域的发展趋势窥探一二。Fusion-io的卡,说白了就是一种DAS(Direct Attached Storage)方式,但你能说它相对于SAN方式是一种倒退么?肯定不是,与其说是倒退,不如说是轮回。能在服务器本地满足IO性能,又何必去花大价钱买个高端存储且性能还不够?
  面对Fusion-io,EMC能不有所动吗?这不,EMC今年5月发布了所谓“闪电计划”,也开始搞插在服务器上的PCIe Flash卡,作为阵列的前置缓存,然而EMC真正想销售的还是其阵列。所以“闪电计划”的最终目的其实是EMC想通过服务器主机端的PCIe卡产生一个链带,后端还是要购买EMC的存储阵列,这样看来,在互联网后端,“闪电计划”肯定不被看好,而又不能眼看“金子”被别人挖走,于是收购GreenPlum就是一步棋。
  PCIe Flash是所有传统存储厂商的对手,虽然有厂商,如NetApp,将PCIe Flash卡用到自己阵列里给自己加速,但是敌人永远是敌人。
  固态存储介质让传统外置存储难受其实还有另外一个原因。传统外置存储控制器一般为每台设备双控制器,这台设备后端如果挂太多的SSD,由于固态介质响应时间和IOPS“过高”,则会无法发挥出这些SSD的性能,可能在20块左右就可以饱和一台中端存储的性能。如果后续SSD真的全面取代旋转硬盘,那么,外置存储控制器就会成为大瓶颈,陷入不利环境。从这一点上来看,传统外置存储走向Scale-Out分布式,增加CPU/RAM与盘数的比例,是支撑全SSD的一个必要条件。(文/张冬)
  
  
  作者简介
  张冬,资深存储专家,《大话存储》及《大话存储2》的作者。多年来一直从事存储技术的设计、研发及传授,拥有3项技术专利。现任职于某知名厂商,负责存储产品/方案的设计与开发工作。
其他文献
【计世网 消息】(记者 臧蕙心)“据IBM估算,如果中国能够把IT设施能耗降低10%,所节约的能源可以完全满足2008年北京夏季奥运会的能源需求,同时减少250万吨的二氧化碳排放量。”IBM商业价值研究院院长甘绮翠近日表示。  12月7日,IBM商业价值研究院发布了题为“绿色中国”的最新白皮书。白皮书指出,把环保工作纳入到业务战略和运营之中的中国企业,将在市场上占据有利地位,并有助于加强中国经济的
摘要:2018年北京市中考化学试题重视落实科学素养要求,关注学科能力考查。从基础知识和基本技能、学科能力、价值观念方面深度研究2018年北京市中考化学试题,建议教学回归教材,关注化学学科基础知识,重视学生能力培养,提升学生学习的主体性。  关键词:科学素养;学科能力;中考;化学  北京市中考从2018年起,化学考试科目调整为生物(化学)考试科目。化学学科原来总分80分,考试时间100分钟,2018
1997年5月,全世界的焦点集中在一台名叫“深蓝”的计算机上,因为它战胜了曾经的棋王——国际象棋大师卡斯帕罗夫。2011年2月14日,全世界的目光再次集中到了一台名叫“沃森”的电脑上,这次,这个“聪明”的家伙以绝对优势赢得了人类历史上第一次人机智力问答比赛的冠军。  作为地球上最聪明的物种,人类一直试图制造一个同样聪明的机器来挑战自己的智慧,或者与其说是挑战,倒不如说是想进一步印证我们自身的智慧程
近日,华硕推出全球首款23.6英寸光学触控一体机ET2400系列,率先带来23.6英寸屏幕视觉享受,并支持3D显示效果。华硕EeeTOP PC ET2400系列采用16∶9 分辨率,可轻松实现多点光感触控,即便是孩子与老人也能轻松掌握。高端机型EeeTOP PC ET2400XVT搭载英特尔酷睿i7处理器,采用大容量1TB硬盘,最大支持8GB内存,引入华硕独家SHE超级混合动力引擎,可实现智能加速
经过多年的发展,俄罗斯经济开始复苏,IT业作为俄罗斯为数不多的非自然资源工业正在受到越来越多的重视,并以惊人的速度不断发展。   IT业分析人士说,过去一年,俄罗斯的信息技术行业迅猛发展,显示出成为IT业全球领先国家的潜力。行业领先厂商Information Business Systems Group(IBS)总裁兼CEO Anatoly Karachinksy说:“俄罗斯IT市场去年发展势头非
摘 要:优化高中历史教学,让课堂焕发出无限生命活力,与学生的心理活动密切联系。在当今新课标和高校选拔人才的新要求下,只有深入研究学生心理,才能利用科学的教学理念,从而优化历史课堂,提高教学效率。本文仅从定势思维效应出发,结合2019年历史高考全国卷,分析历史教学中应该注意的问题,让新课改形势下的课堂呈现出新的活力。  关键词:定势思维效应;高考试题;历史教学  一、 定势思维效应的定义  定势是指
自从1997年乔布斯重返苹果,他在Macworld上的主题演讲“Stevenotes”便成为全世界“苹果”爱好者的福音,Macworld也因此成为他们的朝圣之地。  那一年的一月,在旧金山举办的Macworld。我坐在地板上,看着当时的苹果CEO 奥梅里欧像个销售员一样嗦嗦讲了近3个小时。终于要熬到他演讲结束了,奥梅里欧突然宣布,我们刚买了Next Computer,乔布斯回来了!走上讲台的乔布斯
6月份在纳斯达克上市后,海辉就一直以“全球领先的科技服务企业”为目标全力加速,而创造一切条件吸引人才是海辉的当务之急。  作为不久前在纳斯达克上市的海辉软件的执行董事长,孙振耀目前最头疼的事情是招人。孙振耀在接受《计算机世界》报记者采访时表示,“我希望海辉软件近期能够达到1万人规模,其中无锡交付基地的人数应该要超过6000人。”  据了解,目前海辉在无锡只有1700人,而整个海辉集团员工不足500
本报综合消息 从9月1日起,海关总署调整进出境个人邮递物品管理的新规正式实施,邮递进入中国境内物品超过50元人民币的,一律按商品价值全额征税,免征额度从现在的400元~500元统一下调至50元。  海关总署监管司有关负责人表示,如今大部分进境邮件不再是亲友间馈赠的物品,进出境邮件的性质已向交易性质的商品为主转变。最近,网购、邮购、 海外代购等业务发展迅速。一些不法分子企图将进口货物拆分成多票,伪报
本报讯作为首家取得英国设计产业的同业公会(DBA)会员资格的中国设计公司,洛可可伦敦分公司(LKK innovation)于近日签署英国设计行业自律公约,宣布参与伦敦奥运会火炬设计。DBA(design business association)也是此次伦敦奥组委设计招标项目指定行业资格与设计质量管理的协会,其会员资格让英国设计公司引以为傲。洛可可参与设计的内容包括3项:一是奥运火炬设计;二是火种