以文本方式查看主题

-  广东服务器技术论坛(IBM、HP、DELL、联想)  (http://gzhuize.com/bbs/index.asp)
--  存储及网络应用论坛  (http://gzhuize.com/bbs/list.asp?boardid=17)
----  存储的一些概念(摘)  (http://gzhuize.com/bbs/dispbbs.asp?boardid=17&id=773)

--  作者:tplayer
--  发布时间:2010-7-25 10:53:09
--  存储的一些概念(摘)

什么是磁带库

  磁带库产品包括自动加载磁带机和磁带库。自动加载磁带机和磁带库实际上是将磁带和磁带机有机结合组成的。自动加载磁带机是一个位于单机中的磁带驱动器和自动磁带更换装置,它可以从装有多盘磁带的磁带匣中拾取磁带并放入驱动器中,或执行相反的过程。 它可以备份100GB-200GB或者更多的数据。自动加载磁带机能够支持例行备份过程,自动为每日的备份工作装载新的磁带。一个拥有工作组服务器的小公司或分理处可以使用自动加载磁带机来自动完成备份工作。

  磁带库是像自动加载磁带机一样的基于磁带的备份系统,它能够提供同样的基本自动备份和数据恢复功能,但同时具有更先进的技术特点。它的存储容量可达到数百PB(1pb=100万GB), 可以实现连续备份、自动搜索磁带,也可以在驱动管理软件控制下实现智能恢复、实时监控和统计,整个数据存储备份过程完全摆脱了人工干涉。

  磁带库不仅数据存储量大得多,而且在备份效率和人工占用方面拥有无可比拟的优势。在网络系统中,磁带库通过SAN(Storage Area Network- 存储局域网络)系统可形成网络存储系统, 为企业存储提供有力保障,很容易完成远程数据访问、数据存储备份,或通过磁带镜像技术实现多磁带库备份,无疑是数据仓库、ERP等大型网络应用的良好存储设备。

SAN、NAS技术的分析比较

  目前存储市场主要有三种方式:DAS(Direct Attached Storage)、NAS(Network Attached Sto-rage,网络附加存储)、SAN(存储区域网)。传统的直接存储的模式DAS是直接将存储设备连接到服务器上,一方面,当存储容量增加时,这种方式很难扩展;另一方面,当服务器出现异常时,会使数据不可获得。 NAS和SAN的出现适应了网络正成为主要的信息处理模式的发展趋势。IBM大中华区存储事业部总经理何国伟先生也认为, "未来的世界是网络存储世界, 存储的外部化将是未来发展趋势,因此IBM存储的重点将放在SAN、NAS上"。

NAS简单灵活   NAS--网络附加存储,即将存储设备连接到现有的网络上,提供数据和文件服务。NAS服务器一般由存储硬件、操作系统以及其上的文件系统等几个部分组成。简单的说, NAS是通过与网络直接连接的磁盘阵列,它具备了磁盘阵列的所有主要特征:高容量、高效能、高可靠。 NAS将存储设备通过标准的网络拓扑结构连接,可以无需服务器直接上网,不依赖通用的操作系统,而是采用一个面向用户设计的、专门用于数据存储的简化操作系统,内置了与网络连接所需的协议,因此使整个系统的管理和设置较为简单。其次NAS是真正即插即用的产品,并且物理位置灵活,可放置在工作组内, 也可放在其他地点与网络连接。因此,用户选择NAS解决方案,原因在于NAS价格合理、便于管理、灵活且能实现文件共享。 以IBM为代表的业界各大存储厂商纷纷推出NAS解决方案,IBM公司最新的NAS产品主要包括: NAS 200, NAS 300, NAS 300G。 NAS 200塔式存储设备主要是针对需要大量高性价比存储设备的Internet服务提供商(ISP)和需要电子邮件存储或视频文件服务的客户;NAS 300的双引擎设计可以支持关键业务高可用性应用,如大型部门和小型企业中的应收帐户、工资支付或客户支持。NAS 300G网关则是业界第一种开放式NAS设备,能将LAN与SAN连接在一起, NAS 300G允许基于局域网的客户机和服务器与现有存储区域网(SAN)互操作,实现了SAN与NAS的统一。

  在2001年存储展中,有一家专门做NAS存储的厂商AUSPEX也颇引人注目, AUSPEX始建于1987年,可通过光纤通道接入SAN交换机,称为NAS市场的创建和领头羊,AUSPEX通过其专利技术--功能多处理结构(Founctional Multiproces-sing)把文件服务功能的不同功能分解到不同的专用CPU上, 借助专用OS为客户提供了大容量、高性能和高可靠的网络数据服务。其产品系列包括NS2000通用网络文件服务器、NAS3000系列, 其中NAS 30103010LPDA最大磁盘容量达12TB,可接入36GB和73GB的磁盘驱动器; NAS3010XR 采用内嵌式SAN结构,可实现对SAN的存储管理。

SAN高效可扩  SAN -- 存储区域网络,即通过特定的互连方式连接的若干台存储服务器组成一个单独的数据网络,提供企业级的数据存储服务。 SAN是一种特殊的高速网络,连接网络服务器和诸如大磁盘阵列或备份磁带库的存储设备,SAN置于LAN之下,而不涉及LAN。利用SAN,不仅可以提供大容量的存储数据,而且地域上可以分散,并缓解了大量数据传输对于局域网的影响。SAN 的结构允许任何服务器连接到任何存储阵列,不管数据置放在哪里,服务器都可直接存取所需的数据。

  与NAS相比,SAN具有下面几个特点:首先SAN具有无限的扩展能力,由于SAN采用了网络结构,服务器可以访问存储网络上的任何一个存储设备,因此用户可以自由增加磁盘阵列、带库和服务器等设备,使得整个系统的存储空间和处理能力得以按客户需求不断扩大。另外,SAN 具有更高的连接速度和处理能力。SAN采用了为大规模数据传输而专门设计的光纤通道技术,目前的传输速度为100Mbps,并会很快开发出传输速度为200Mbps和400Mbps的光纤通道交换机。 实现SAN的硬件基础设施是光纤通道,用光纤通道构筑的SAN,由3部分构成:存储和备份设备,包括磁带库、磁盘阵列和光盘库等;光纤通道网络连接部件,包括主机总线适配卡(HBA: Host Bus Adapter)和驱动程序、光缆(线)、集线器、交换机、光纤通道与SCSI间的桥接器(Bridge)等;应用和管理软件包括:备份软件、存储资源管理软件、设备管理软件。由上可以看出,在SAN 解决方案中,除存储设备外,其关键部件就是网络连接部件--光纤交换机,目前在IBM、COMPAQ等各公司提供的SAN解决方案中,其光纤交换机大都由博科通讯公司(Brocade)、McDATA、Infrange、Qlogic、Vixel、Gadzoox 等提供的。例如博科公司的产品包括了从8端口的入门级光纤通道交换机到128端口企业级交换机,最近推出的128端口的SilkWorm 12000核心Fabric交换机是第一个可提供1Gbps和2Gbps链路速度的第三代ASIC型号, 可支持目前的2Gbps光纤通道模块和新兴的存储协议,如10Gbps光纤通道模块、Infiniband Fabric模块以及未来的IP/以太网模块等,还支持可实现存储虚拟化。McDATA的口号是提供从核心到边缘的企业解决方案,其产品系列覆盖从8端口ES-1000到 ES-3016、ES-3032 直到64端口的ED-6064导向器,并定位于高端应用,McDATA认为, 所谓高端,一是支持的端口数多,另一点是产品具有99.999% 的高可用性,保证在线数据的定位于高端应用,McDATA认为,所谓高端,一是支持的端口数多, 另一点是产品具有99.999%的高可用性,保证在线数据的连续性。另外 McDATA也提供EFC MANAGER管理软件,实现对交换单元的集中管理。

  存储市场的火爆及SAN市场的增长,使这些公司也纷纷从幕后走到了前台, 博科、McDATA不仅在存储展上大出风头,而且还将在国内成立办事处,进一步提供技术、服务方面的支持,但博科、McDATA公司均表示,OEM及合作伙伴策略将不会改变。在网络存储技术方面, 博科公司的技术总监许良谋先生表示,3-5年内光纤通道技术仍会是主流技术, 但博科公司目前对iSCSI、Storage over IP、Infiniband等技术进行密切关注,并加大了研发力度。

结束语  综上所述NAS具有安装管理方便、价格平民化等优点,是中小企业存储的优选方案。 特别是对于部门服务器目、独立的工作组级的客户,他们能充分享受到NAS性能价格比的好处。而SAN可以适用于企业级数据存储、服务器集群、远程灾难恢复、Internet数据服务等多个领域。SAN和NAS因满足用户的不同层面的应用需求而共存,同时随着iSCSI、IP、Infiniband 等技术的不断出现,未来的SAN、NAS最终将逐渐走向统一。

  据IDC的最近一份研究报告指出,目前,在亚太市场中仅有10%到30%的企业采用存储区域网络(SAN),这个比率在今年阶段。而在服务器市场的统计表明,基于SCSI(服务器直连存储)收入的市场份额已从1999年的60%下降到2000年的28%,而IBM也表示一年前80%的存储是连接在S/390系统,而今年这一数据已降到30%。

磁带存储方案的设计与选购

  由于数据备份的需要,磁带机的被广泛的应用在文件的下载存储留档、视频数据存储、数据灾难恢复、图像艺术资料存储等行业中。

设计磁带存储方案  设计磁带存储方案一般需要考虑存储系统的工作量和完成备份时间,通常我们将磁带备份技术分为三类:即桌面备份方案、中型备份方案(中型企业用户)和企业级备份方案(大型企业用户)。其中桌面备份即为单机数据系统,使用最多的主要有DC2000技术;中型备份方案属于工作组级数据备份,使用较多的主要有Exabyte的8mm和DAT技术; 而企业级备份方案主要涉及数据系统和主机数据备份,使用较为普遍的是IBM的3480/3490/3590和各种1/2英寸的9/18/36轨磁带技术。 各类存储系统对数据量和数据安全的要求区别较大,设计要求不同,相应在相匹配的磁带备份系统的价格及性能上有较大差异。

单机数据备份系统:  QIC磁带设备是一种纯粹面向单机数据备份与冗余存储的磁带备份设备, 是一类低端磁带机,是桌面备份的重要方案。 它们体积小巧, 磁带驱动器可以放置在标准的3.5英寸托架内,同时还提供并口、SCSI和IDE等多种连接方式,适用范围广泛, 并得到了许多重要磁带设备厂商的支持。虽然它们的备份容量有限(单带容量一般为4GB),安全性较低,还缺乏即读即写和硬件压缩等关键技术, 不可能扮演中高档数据备份的角色,但其低廉的价格、灵活的使用方法,以及适中的容量与速率完全能够满足单机数据备份的要求。所以,目前单机备份领域的磁带设备主要是QIC磁带系统。

工作组级和部门级网络备份系统:  常常采用4mm DAT磁带与8mm磁带备份系统。4mm DAT磁带备份系统虽然容量不是很大, 数据传输速率也不是很快(一般在1Mbps), 但它们在自动磁带加载机的支持下还是可以满足大多数工作组级数据备份应用的要求,同时性能价格比也较适中。作为一种增强型DAT存储设备,8mm磁带备份系统的出现为中高档数据备份的提供了一种新方式。 8mm磁带存储设备是针对Windows NT集中式的部门级备份应用,因此安全性要远远高于4mm DAT磁带备份系统。另外,磁带宽度也决定了它的存储密度至少是4mm磁带的一倍。目前最好的8mm磁带备份系统的单带容量达到20GB、传输速率达到3Mbps。其即写即读、冗余磁头功能的应用,可以满足所有中档数据备份和部分高档数据备份的需要。

主机数据备份系统:  主要采用IBM3480/3490/3590磁带备份系统与基于LTO磁带备份系统。 IBM3480/3490/3590是一类属于典型主机时代的9/18/36轨磁带兼容技术设备, 主要用于磁带库的内置磁带系统。该系统的数据吞吐量极高,可达到10~20Mbps, 但因价格较高、容量相对较小(10GB)。最新的SDLT基于LTO标准的磁带备份系统,因采用了Ultrium记录格式和线性读写方式,其可以提供几乎超过一般磁带设备几倍的容量,达到100GB,读写数据传输率也将达到10Mbps,但价格昂贵,只能用于高档数据备份系统。

选购指南根据上面的设计方案,用户可以根据自己的技术要求及预算情况选择磁带机产品,在选购中请注意以下问题:  1、考虑升级及兼容性问题   用户在选购磁带机时应考虑未来几年电脑数据量大幅增长的趋势。据有关专家预测, 在未来的三年中,数据量将可能增加五倍。因此,用户在选购时应特别注意选择技术有发展前途的产品,即容量增大,速度更快,而且最重要的是要与过去和未来的产品兼容。

  2、磁带机及磁带的寿命用户在选购产品时比较关心产品的寿命, 寿命越长的产品客户的使用成本越低。就磁带机产品而言,驱动器及磁带的寿命都很关键。磁带机的寿命以磁头为主,现有磁头的寿命在1万-3万小时之间,若以每周5天工作日,每天备份5小时计,一个磁头可使用7年至23年。而磁带的寿命以磁带经过磁头的次数计算(Pass),目前磁带的寿命在5,000-1,000,000 Pass之间。

  3、磁带机的可靠性一般磁带机的可靠性以平均无故障时间来计,目前的平均无故障时间在10万-30万小时间。但在参考这些指标时,用户应特别注意MTBF后的Duty Circle的百分比数值。Duty Circle是指这些指标是在多重的工作负荷下得到的。 例如一个10% Duty Circle的MTBF是指这个数值是在每天(24小时)只工作10%的时间,即24小时情况下的指标,很显然, 这就比100%时(即每天24小时不间断工作)的指标要高。 就我们所知, 目前几种品牌的磁带机的 MTBF 有10%、15%, 20% 和100%几种 Duty Circle。

  4、软件的兼容性或支持性:   通常使用的操作系统均支持流行的磁带机,例如:NT、SCO Unix 等操作系统内均内置了流行磁带机的驱动程序,但通常单用户的操作系统(例如:DOS,Windows或 Macintosh等)就需另外购买第三方的备份软件才可使用。一些新操作系统或升级版本出现后,用户可直接从网上下载其新的驱动程序或与代理商联络。

  5、磁带清洗问题中国每年磁带机销售量在2万台以上,但就我们所知,清洗带在国内的销量却廖廖无几,而同时我们所接到的一些客户咨询电话却反映出,并不是产品有问题,而是用户不去定期清洗磁头,造成数据无法读出。我们希望广大用户要在购买磁带机和磁带的同时,购买清洗带,养成定期清洗磁头的良好习惯(一般磁带机每工作8小时应清洗一次),这样才能避免一些故障的发生, 也能减少磁头和磁带的磨损,延长使用寿命。

RAID知识简介

RAID代表Redundant Array of Inexpensive (or Independent) Drive。 RAID的优点在于三个方面即可用性(Availability)、容量(Capacity)及性能(Performance)。利用RAID技术于存储系统的好处有:

*通过把多个磁盘组织在一起作为一个逻辑卷提供磁盘跨越功能*通过把数据分成多个数据块(Block)并行写入/读出多个磁盘以提高访问磁盘的速度*通过镜像或校验操作提供容错能力

根据实际情况选择适当的RAID级别可以满足用户对存储系统可用性、性能和容量的要求。常用的RAID级别有以下几种:NRAID,JBOD,RAID0,RAID1,RAID0+1,RAID3,RAID5等。为提高可靠性和性能,常使用RAID5和RAID(0+1)。下面分别简要介绍各自的原理及特点:

*NRAID-即Non-RAID,所有磁盘的容量组合成一个逻辑盘, 没有数据块分条(no block stripping)。NRAID不提供数据冗余。要求至少一个磁盘。

*JBOD-代表Just a Bunch of Drives, 磁盘控制器把每个物理磁盘看作独立的磁盘,因此每个磁盘都是独立的逻辑盘。JBOD也不提供数据冗余。要求至少一个磁盘。

*RAID0-即Data Stripping数据分条技术。整个逻辑盘的数据是被分条(stripped)分布在多个物理磁盘上,可以并行读/写,提供最快的速度,但没有冗余能力。要求至少两个磁盘。

*RAID1-把一个磁盘的数据镜像到另一个磁盘上,只能在两个磁盘上实施, 具有最高的数据冗余能力,利用率为50%。

*RAID0+1-把RAID0和RAID1技术结合起来, 即Mirroring+Stripping。数据除分布在多个盘上外,每个盘都有其物理镜像盘,提供全冗余能力,允许一个以下磁盘故障,而不影响数据可用性,并具有快速读/写能力。要求至少4个硬盘才能作成RAID0+1。

*RAID3-带有一个专门的校验盘的分条技术。数据被分布在多个磁盘上以提高读/写速度, 并用一个专门的校验盘来存储校验信息, 当一个成员盘故障时, 控制器可以从校验盘重新恢复/生成丢失的数据。RAID3要求至少3个盘,且其中一个为专职校验盘。

*RAID5-类似于RAID3,但校验数据不是存储在一个专职的校验盘上,而是分布在多个盘上。 当一个磁盘故障时,控制器可以从其他尚存的磁盘上重新恢复/生成丢失的数据而不影响数据的可用性。RAID5要求至少3个磁盘,容量是(N-1)/N。

磁盘阵列Q/A

1. 什么是磁盘阵列(Disk Array)?   磁盘阵列 (Disk Array) 是由一个硬盘控制器来控制多个硬盘的相互连接,使多个硬盘的读写同步,减少错误,增加效率和可靠度的技术。

2.什么是RAID?  RAID是Redundant Array of Inexpensive Disk的缩写,意为廉价冗余磁盘阵列, 是磁盘阵列在技术上实现的理论标准,其目的在于减少错误、提高存储系统的性能与可靠度。 常用的等级有1、3、5级等。

3.什么是RAID Level 0 ?   RAID Level 0是Data Striping(数据分割)技术的实现,它将所有硬盘构成一个磁盘阵列, 可以同时对多个硬盘做读写动作,但是不具备备份及容错能力,它价格便宜,硬盘使用效率最佳,但是可靠度是最差的。

  以一个由两个硬盘组成的RAID Level 0磁盘阵列为例,它把数据的第1和2位写入第一个硬盘,第三和第四位写入第二个硬盘……以此类推,所以叫"数据分割",因为各盘数据的写入动作是同时做的,所以它的存储速度可以比单个硬盘快几倍。

  但是,这样一来,万一磁盘阵列上有一个硬盘坏了, 由于它把数据拆开分别存到了不同的硬盘上,坏了一个等于中断了数据的完整性,如果没有整个磁盘阵列的备份磁带的话,所有的数据是无法挽回的。因此,尽管它的效率很高,但是很少有人冒着数据丢失的危险采用这项技术。

4.什么是RAID Level 1?  RAID Level 1使用的是Disk Mirror(磁盘映射)技术, 就是把一个硬盘的内容同步备份复制到另一个硬盘里,所以具备了备份和容错能力,这样做的使用效率不高,但是可靠性高。

5.什么是RAID Level 3?  RAID Level 3采用Byte-interleaving(数据交错存储)技术,硬盘在SCSI控制卡下同时动作,并将用于奇偶校验的数据储存到特定硬盘机中,它具备了容错能力,硬盘的使用效率是安装几个就减掉一个,它的可靠度较佳。

6.什么是RAID Level 5?   RAID Level 5使用的是Disk Striping(硬盘分割)技术,与Level 3的不同之处在于它把奇偶校验数据存放到各个硬盘里,各个硬盘在SCSI控制卡的控制下平行动作,有容错能力, 跟Level 3一样,它的使用效率也是安装几个再减掉一个。

7.什么是热插拔硬盘?  热插拔硬盘英文名为Hot -Swappable Disk,在磁盘阵列中,如果使用支持热插拔技术的硬盘,在有一个硬盘坏掉的情况下,服务器可以不用关机,直接抽出坏掉的硬盘,换上新的硬盘。一般的商用磁盘阵列在硬盘坏掉的时候,会自动鸣叫提示管理员更换硬盘。

[此贴子已经被作者于2010-7-25 11:07:45编辑过]