最近也遇到了几个企业IT管理员问了一些问题,大致是“我到底为什么要使用SAN”,如果换了几年前,我或许直接会这么回答:“SAN可以消除孤岛,数据共享”等等等等,但是现在,我不会再拿着这些当初被忽悠的词句去误导别人了,至少回答之前要问清楚他目前的业务类型、数据量以及后续需求等。其中有一个人我确实没有推荐其使用SAN,因为他的业务完全本地盘就已经满足需求,况且还是使用PC服务器,如果使用小机等扩展性更强的服务器,一台机器上完全可以扩充到几十甚至上百块硬盘,对于一般通常业务来讲,有什么理由去拉根线连到外面存储上取数据呢?
有人会问,数据如果不集中存放的话,备份怎么办呢?还可以集中备份和LAN-Free么?这个问题,如果熟知现在的备份数据流就根本无需担心。当前来讲,就算是所谓“LAN-Free”也一样需要数据先从SAN阵列中读出到主机,然后再从主机写到备份介质。笔者另一篇文章《乱七八糟的“Free”》中对这些名词有详细的解释。而对于DAS模式下的备份,数据只是从每个服务器本地盘读出来然后写到备份介质中,与SAN备份没有本质区别,甚至速度可以比SAN备份更快。至于所谓“集中备份”,除非使用NDMP设备到设备直接备份模式,那么这个“集中备份”也没有意义,现在数据先从主机读出再写到备份介质依然是主流的备份方式,这与DAS下的备份数据流没有区别。
在来看看DAS模式下的容灾。在SAN模式下,直接通过两地的阵列做集中的数据远程复制与接收,确实比DAS模式下每个节点单独做复制要方便的多,这一点确实算是一个劣势。但是回头想想,如果这些节点是处于云中的,由两个云之间来做容灾,那么又会被统一起来。而且目前来讲仍有非常大比例的系统采用的是基于应用层的数据复制,而不是底层存储层,比如OracleDataGuard、DB2的HADR等等,这类复制能够保证数据一致性并且可回放,底层存储有时候并不能完全信任,10次有2次会产生应用无法启动的数据不一致。
另外,SAN的另一个噱头,即“集中管理”。如果整个数据中心只有少数几台集中存储设备,那管理起来确实比较方便,尤其是对一个尚没有完善的自动化运维体系的数据中心来讲。在配置存储空间的时候,如果有一套比较好的管理软件,那么在一个全DAS环境中配置起来也不见得要比配置集中存储来得复杂。但对于后期维护操作,全DAS存储环境确实会增加不少复杂度,这就需要一套完善的自动化运维工具和体系来应对这个问题。
至于各种外置存储所提供的快照、重删、Thin等数据管理特性,(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者)随着芯片性能不断提升,Raid卡上直接集成这些功能,也将不再是难事。
总之,上述的种种因素,最终都会将目前的传统外置存储系统逼上绝路。
2.2.2存储厂商面对Flash,友善还是敌对?
既然上文中我把Flash看做传统存储的死敌,那么目前一些存储厂商对Flash是什么态度呢?最早痛恨Flash的专业存储厂商是NetApp。在笔者的另一篇文章《引领潮流、随波逐流、最后追赶潮流?——在荆棘中挣扎前进的NetApp》中曾经就WAFL与Flash之间的恩怨做过分析。但是不知道当初NetApp反对Flash是不是也有更深一层的担忧,即Flash或将革掉自己的命。但是大势不可挡,如今所有主流存储厂商都针对固态介质做了处理,比如各种动态分级或者缓存技术。NetApp的PAM加速卡就是一张插在其FAS阵列中的PCIEFlash卡,其被用作WAFL文件系统的缓存,而不是直接承载WAFL主体数据。NetApp也曾经说过将来存储系统中只有两种介质——SSD+SATA,但至少目前看来,NetApp最新的FAS阵列依然是支持SAS与FC磁盘。
EMC对待固态介质的态度一向都是积极的,他知道固态介质势不可挡,逃避是没有用的。也曾经大有信心的说SSD将取代FC盘,并且从FAST1.0到FAST2.0再到FASTVP,一直不遗余力的让SSD在阵列上发挥最大价值。其他厂商则基本都是追随者,随大流,针对SSD也都是不遗余力的支持,包括开发动态数据分级/缓存方案,以及在内核中针对Flash介质特有的IO特性做各方面优化。
FusionIO,一家专做PCIEFlash卡的尖兵厂商,在互联网后端这个细分市场占据了不少市场份额。互联网企业IT系统的前端和后端是当今最流行IT技术的发源地,从这里也可以对后续IT领域的发展趋势掠探一二。FusionIO的卡,说俗了就是一种DAS(DirectAttachedStorage)方式,你能说它相对于SAN方式是一种倒退么?肯定不是,与其说是倒退,不如说是轮回。能在服务器本地满足的IO性能,何必去花大价钱买个高端存储而且性能还不够呢?国内某互联网公司几乎明确了他们的观点,即去IOE,也就是IBM的小机、Oracle的RDBMS以及EMC的高端存储。从这一点上来看,EMC已经被FusionIO抢了不知道多少单出货高端存储的机会。
EMC能不有所动么?这不,EMC发布了所谓“闪电计划”,也开始搞插在服务器上的PCIEFlash卡作为阵列的前置缓存,然而他肯定不能以后就卖卡为主了,他真正想带动的还是其阵列,所以“闪电计划”的最终目的其实是EMC想通过服务器主机端的PCIE卡产生一个链带,后端还是要购买EMC的存储阵列,所以闪电计划在互联网后端肯定是不被买账的,EMC这段时间好像对互联网后端额外重视,但是眼巴巴看着金子被别人挖走,心有不甘。收购GreenPlum就是一步棋。就好像看着一座金山,拼命往上爬却发现脚底打滑,于是就去鞋店大肆采购各种鞋子。
PCIEFlash是所有传统存储厂商的对手,虽然有厂商比如NetApp将PCIEFlash卡用到自己阵列里给自己加速,但是敌人永远是敌人。
固态存储介质让传统外置存储难受其实还有另外一个原因。传统外置存储控制器一般为每台设备双控制器,这台设备后端如果挂太多SSD,由于固态介质响应时间和IOPS“过高”,则会无法发挥出这些ssd的性能,可能在20块左右就可以饱和一台中端存储的性能。如果后续SSD真的全面取代机械盘,那么外置存储控制器就会成为大瓶颈,陷入不利环境。从这一点上来看,传统外置存储走向Scale-Out分布式,增加CPU/RAM与盘数的比例,是支撑全SSD的一个必要条件。
2.2.3VTL已经成为备份软件厂商的傀儡
VTL也算是一种外置存储系统。VTL这个东西已经赖乎乎的存在了很长时间了,其幕后始作俑者其实就是一些主流的备份软件厂商。这些垄断厂商在操控各种物理带库、磁带机的磁带和机械手方面拥有大量积累,一般厂商较难掌握,所以这套接口宁愿保留,哪怕介质从磁带换成了硬盘,操控和数据接口也要保留。对物理带库体系的操控、对上层应用的数据接口以及备份之后数据的生命周期管理,这三大件就是这些厂商的生存根基,他们不想失去任何一个。
仅有少数的愿意创新的新型备份软件厂商或者初创不久的厂商才会去推广纯D2D备份,更加专注于上层的数据备份与恢复管理,探索创新。这些厂商在物理带库、机械手等方面基本没有积累,(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者)那么他们就是让VTL彻底退位的人。而随着存储厂商越来越看清市场,在数据保护方面发力的厂商会越来越多,传统体系下的壁垒一定要被冲垮。
而后续低规格大容量的Flash作为备份介质是必经之路,如果那时候的数据和操控接口依然沿用传统物理带库的SCSI流式指令以及机械手控制指令,就非常说不过去了。Flash是可以随机寻址的,控制Flash选择和读写的是片选器(ChipEnabler)以及ASIC芯片,都是电子器件,何来机械手?任何方面都说不过去。
VTL接口被替代之后,下一步就需要数据记录格式的替代,让备份之后的数据直接可以看到,直接可以从备份介质中恢复到源端,而不是使用物理磁带的格式去读写和存放。
所以,传统物理磁带以及VTL备份介质体系也即将走向终结。
2.3云计算架构最终会将存储“埋起来”
既然传统存储盒子或将枯萎,那么是否可以做点高层的脱离盒子的东西,比如虚拟化,数据迁移等数据管理方面的“智能一些的盒子”或者方案呢?很不幸的是,这条路可能也将会被堵了。
2.3.1阵列能做的,云几乎都能做
什么是云存储或者存储云?我是这么定义的,传统外置存储就是用几个控制器来挂起后端的磁盘扩展柜,然后对外提供存储空间;而存储云就是用一堆服务器上面跑的软件当做控制器,挂起后端一堆异构厂商的各种存储介质包括JOBD、双控或者多控阵列、NAS、VTL、带库等等并向外提供各种不同访问方式的存储空间。(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者)服务器集群上跑什么软件?当然是某种分布式卷或/和者分布式文件系统,这种系统具有原生的异构支持,不管底层使用谁家的阵列,都可以被收纳为存储资源。当然,像传统阵列一样,仅仅有了存储空间就够了么?存储云当然还需要做各种数据管理功能,比如容错、快照、Thin、重删、动态分级、克隆、迁移、远程复制、容灾等等。这些特性,在一个分布式文件系统或者卷管理系统上是完全可以做的,但是一些比较耗费计算资源的比如重删,则可以下放给底层设备来做。云为何不信任,或者说不能够信任底层设备上原配的这些功能呢?答案很简单,就是异构支持。存储云中总不可能只有一家设备厂商的设备,而不同厂商的设备之间的这些特性又是不兼容的,所以只有在上面的虚拟化层,也就是分布式数据管理层来处理这些特性,此时,外置存储系统就是彻彻底底的一块大硬盘,不管你是EMCSymmetrix还是HDSVSP/USP,还是JOBD,甚至或者是服务器本地磁盘,是否是Scale-Out架构甚至都已经没有意义,因为上层的虚拟化层自己可以Scale-Out。对于云来讲,或许只有磁盘有意义,其他比如JBOD、控制器、Scale-Out架构之类,云统统不在乎。
2.3.2观VMware动作,体会后续趋势
当年EMC收购VMware,谁也不曾想到VMware会有今天的市值。如今VMware已经是云架构中的核心角色。既然已经成为核心,那么就有权利发布一系列接口让别人来适配他。从第一个比较系统的VAAI,到第二个VASA,再到将来会发布的第三代API。
在第一代VAAI中,VMware只是将一些原本由Hypervisor做的数据操作工作下放给了外部存储系统来做,提高效率,从其全名vStorageAPIsforArrayIntegration就可以隐隐领会出VMware还是比较看重外置存储的,能够将重要任务交给它们。
而在第二代VASA(vStorageAPIsforStorageAwareness)中,显然可以领会到VMware进一步控制外部存储的欲望,VMware需要了解到更多的外部存储的信息。做过底层存储开发的都知道,硬盘驱动程序会探知控制器后面所挂的硬盘的各种信息,包括容量、是否支持WriteBack模式缓存及具体类型、是否支持队列、最大传输单元等等。而VMware这套VASA接口分明就是做了硬盘驱动的工作,以便后续更好的对外置存储进行控制。(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者)显然,外置存储对于VMware,就相当于一块大硬盘。
而就在今年的VMworld大会上,VMware的动作已经显露无疑,VMware计划将vSphere环境中的存储管理和精简配置进行“根本性的”改变,无需再设置LUN、RAID组合NAS挂载点,VMware工程师SatyamVaghani称新版API将使用工具如I/ODemultiplexer、CapacityPool以及VMVolume。对于这第三代存储API的细节尚不知,但是从字面来看,第三代API将会对外部存储实现彻底的大统一,任何存储厂商在VSphere下都被同质化,谁也别想冒出来,那些传统的特性对于VMware存储虚拟层来讲,都是小儿科。
各厂商新产品的宣传噱头上,除了硬件规格之外(其实硬件规格大家都差不多),就是对固态存储介质的应用方案,再就是与云搭上边,也就是Thin以及VMwareAPI支持。
综上,外置存储系统在经历了从服务器内置到外部独立控制器的进化过程之后,在虚拟服务器的召唤之下,其地位又回到了原点。
3、外置存储后续的生存和发展空间
这场残酷的严冬,对于国内外置存储厂商来讲,将会是一个异常难熬的过程。而那些专注于硬件上层功能、方案的存储厂商不会受到太大影响。比如备份容灾等,不管底层采用什么介质、什么架构,用户对备份和容灾的投入将是持续的。而且当机械操控协议彻底被废止,也就是VTL真正被淘汰之后,备份软件厂商就会更加专注于数据的管理,而且门槛会降低很多,会催生更多竞争者进入,而不再是几家在机械操控协议和兼容性方面有多年积累的厂商把着那千年陈糠来垄断市场。当然,这些厂商不能只在备份容灾方面发展,“存储”这个词不仅仅是硬件盒子+备份容灾,比如还有数据管理、应用存储优化等等
做盒子的传统外置存储厂商怎么办?这类厂商生存在IT生态链最底层,铺开大摊子,拼规格,拼价格拼量,备货、物流、维护,好不热闹,可是这一层却是利润最低的。而现在他们的死敌固态存储介质正在茁壮成长,IT大架构也在向着云方面发展,他们只能望洋兴叹。
传统存储厂商转型迫在眉睫,尤其是那些专注于生产存储产品的厂商,要么做成全球最大的存储盒子加工厂,以量取胜,要么就往上走,让存储设备直接体现业务价值,而要往生态链高层迁徙的话,就必须脱离做盒子的老思想,盒子里面有什么东西能解决用户什么问题,才是最重要的。
而如果想傍着云来做些东西的话,存储+云就是所谓“云存储”?“云存储”其实并不存在,任何形式的存储都是云存储,包括单块硬盘。存在的只有存储云。前者是依然想以存储为中心,而这可以说是逆势而为。而存储云则是以云为中心,也就是以将任何形式的异构存储空间整合利用的云虚拟化层为中心。如果对这一点理解存在偏差,认为做云存储就是去做一款新形态的分布式存储硬件,那基本上还是走老路。
但是如果去做存储云,也就是专注于虚拟化整合,那么这与存储硬件就基本脱离关系了,而完全转向了数据中心管理软件,或者说通俗点,网管领域,或者说的专业点,自动化运维领域。
最后,不得不说一下赛门铁克。其实是赛门铁克所收购的Veritas的StorageFoundation(SF)产品,这东西真的是个很好的胚子,他可以适配任何异构存储,将底层存储空间虚拟化成大的统一存储池。但是SF貌似生错了年代,太超前了。当云架构有这个诉求的时候,机会就摆在眼前了。赛门铁克已经拥有了多厂商支持的平台,(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者)那么对于他们来讲,开发一个用于云底层的大统一的存储基础架构从而为各种虚拟机Hypervisor提供底层资源是水到渠成的事情,我们就静观其变吧。
小结
后方被固态存储介质追杀,前方则遭遇云架构的围堵,传统外置存储,将会走向非常窄的道路,需要外置存储的场景将会仅限在少数行业的少数系统中,仅有少数厂商挣扎存活,偃旗息鼓,然后漫长的等待着新技术新革命时代的到来。更有甚者,单纯存储厂商或被IT巨鳄们收购也不是没可能。
而我们这批所谓“做存储的”,出路在何方?看来我还是回家呆着继续大话存储误人子弟吧。
版权声明:本文转载至2011年10月刊的《计算机世界》报。(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者,QQ&Email: 122567712@qq.com)