一、超融合基础架构市场现状
超融合基础架构（Hyper-Converged Infrastructure，或简称“HCI”）是实现“软件定义数据中心”的终极技术途径。HCI在目前国内市场销售非常火爆，除了传统的联想、华为、H3C等硬件厂商，甚至还有深信服这类安全厂商也在做HCI产品。其他新兴的厂商有达沃时代、大道云行、StorWind、青云HCI、SmartX等，这些厂商的市场份额虽然不大，但是每个产品却有自己不同于其他厂商的特点，可以适应多种不同的应用场景和环境。 HCI市场能够实现快速的增长，一是随着软件定义技术逐渐走向成熟，带动X86开放架构市场的兴起，HCI成为了IT基础设施进化的必然结果。二是对传统架构的创新，在IT资源的分配和管理上相比传统架构更加灵活，特别是超融合系统的分布式存储架构。
HCI在数据中心中承担着计算资源池和分布式存储资源池的作用，极大地简化了数据中心的基础架构，而且通过软件定义的计算资源虚拟化和分布式存储架构实现无单点故障、无单点瓶颈、弹性扩展、性能线性增长等能力。
通过超融合架构的特点，我们不难发现，目前市场上的HCI领导者是Nutanix和VMware这些软件厂商，而不是传统的IBM和EMC之类的硬件厂商，因为硬件厂商还是想通过核心硬件产品占领市场。但是，我们看到，越来越多的软件和硬件厂商已经走到了一起，共同发布超融合基础架构产品。
2015年初，EMC基于VMware的超融合软件EVO:RAIL，EMC推出了VSPEX BLUE超融合系统，据说从打开电源到配置好虚拟机只需要不到15分钟的时间。2016年，EMC又推出的VxRail，是VSPEX BLUE的升级替代版，VxRail是VMware与EMC独家合作的产品。2016年，联想与Nutanix建立了全球合作协议，联想设计了计算和存储融合的超融合解决方案，正式发布了基于联想X86服务器并搭载Nutanix软件的HX系列全新超融合产品家族。VxRail和联想HX都可以在单一系统中实现虚拟化、计算、存储、数据保护、数据服务的紧密集成，可提供单点支持的能力。企业可以从部署几个虚拟机这样的小规模开始，然后以可预测的、边成长边付费的方式，简便且无中断地扩展到数千个虚拟机。借助HIC，客户能以极其简单、优化、灵活的方式构建现代化的数据中心和混合云。
二、超融合基础架构产品分析
基于超融合架构的发展潜力，投入这领域的厂商也日渐增加，最早进入这一领域的是Nutanix，在2011年8月发布第一款产品。在他之后有SimpliVity、Scale Computing、Pivot3等厂商之后，后来VMware也加入了这个领域。但是这些后来的厂商直到2013~2014年才推出首款产品。至于国内市场就要更晚一些，基本都是2014年后才逐渐推出自有产品。

目前国内市场主流的HCI产品主要有Nutanix（与联想合作推出HX系列产品）、VMware（与EMC合作推出VxRail）、华为（FusionCube一体机和FusionStorage分布式存储软件）、SMARTX（ZBS分布式存储软件和Halo硬件）、大道运行（SSAN分布式存储软件和FlexCube硬件）。
HCI基础架构产品主要分为两种销售模式：
第一种：纯软件方案，例如Nutanix和VMware的EVO: RAIL，支持安装到X86架构的服务器上，只需要购买软件许可授权即可，使用方便灵活。
第二种，软硬结合，例如Nutanix软件+联想X86服务器就变成了联想HX超融合一体机，VMware的EVO: RAIL+EMC(DELL)的X86服务器就变成了VxRail超融合一体机。购买硬件的好处是使用方便，开箱即用，稳定性也比自己组装的要好，安全可靠有保障。
至于二者怎么选择？建议技术型企业选择软件方案，使用灵活又可以降低成本。如果想省事，就直接购买硬件产品，部署又快又方便。
下面我们就以这五个常见的公司产品进行分析，软件和硬件版本都有。
2.1 Nutanix（联想HX）

联想HX系列采用Nutanix软件，旨在将计算、存储和虚拟化资源带入单一的企业级一体机。该系统设计可以快速扩展满足从中小企业大大型企业IT部门的需求。联想在推出的HX系列共有3个型号。HX7500面向高性能工作负载，例如微软Exchange、微软SharePoint以及微软SQL Server这样的数据库，采用高端处理器，4个SSD和20个2.5英寸HDD。HX5500面向存储密集型工作负载例如文件服务器，Splunk和数据中心备份最多可达到38TB容量。HX3500面向计算密集型环境，混合采用2个SSD和6个2.5英寸HDD。
2.1.1 产品形态

三款产品全都是 2U 机箱服务器，服务器硬件是由X3550和X3650提供。

2.1.2 群集规模
Nutanix是透过群集节点间的写入I/O复制来提供基本数据保护，所以要求最小群集规模是3个节点，每次扩充以1个节点为单位，最大群集规模没有限制。
2.1.3 虚拟化层支持
支持包括VMware vSphere、MicroSoft Hyper-v和KVM；透过 NFS、SMB3 与iSCSI协议，可以将群集储存区空间挂载给这三种Hypervisor 使用。
2.1.4 存储架构
Nutanix透过在每台节点上运行的虚拟化控制器，来将所有节点的储存空间构筑为一个群集，虚拟化控制器本体是在Hypervisor上运行的一台VM。Nutanix提供的分布式文件系统（NDFS）可以将一组集群内的节点组成一个统一的分布式存储平台。Nutanix没有使用传统的RAID，Nutanix会将数据复制2份并分散到2个节点上存放，最大可设为将数据复制3份。NDFS对于x86虚拟化平台软件而言就是一个集中的共享式存储，与任何其他集中式存储阵列一样工作，且提供更为简单便捷的存储管理，无需像传统集中存储那样再配置LUN、卷、或者Raid组。

Nutanix分布式存储架构和功能
Nutanix分布式存储架构不仅同样提供传统存储的能力外，还提供更多的能力。针对于虚拟化方面提供快照、克隆等机制，数据层实现本地优先访问、存储分层等性能机制，对数据进行压缩和去重提高存储可用容量，借助两份以上冗余数据提供存储的可靠性，增加或减少节点数据分布会自动平台，当节点宕机或磁盘损坏后具备数据自恢复能力等。
2.1.5 系统软件
Nutanix通过简单、方便的管理界面，实现对数据中心基础架构层的计算、存储、虚拟化等资源进行统一的监控、管理和运维。超融合基础架构形成的计算资源池和存储资源池直接可以被云计算平台进行调配，服务于OpenStack、Cloud Foundry、Docker、Hadoop等IAAS、PAAS平台，对上层的互联网及物联网业务等进行支撑。Nutanix透过专属的Prism控制台来管理群集与Hypervisor，又分为管理单一群集用的Prism Element与管理多丛集环境用的 Prism Central 两种版本。不过他们没有搭配VMware vCenter或 Web Client 的 Plug-in管理接口。
2.2 VMware EVO:RAIL（EMC VxRail）
EMC的VxRail是一款专门针对VMware环境设计的集成的超融合基础设施解决方案。VxRail一体机将EMC的数据服务与VMware超融合软件内的系统管理功能--包括VMware vSphere、vCenter Server以及VMware Virtual SAN--结合到一个产品家族中，提供单点支持。VxRail一体机有混合存储或者全闪存版本，加载了集成的EMC任务关键型数据服务，包括复制、备份和云分层，不收取额外费用。EMC还强调了VxRail与其他EMC解决方案之间的易于集成性，包括EMC RecoverPoint for Virtual Machines、Virtual SAN主动扩展集群和vSphere Data Protection。
当然，我们也可以不选择EMC的VxRail，而直接购买VMware EVO:RAIL，部署到我们自己的X86平台上，这里以EMC的VxRail为例进行说明。
2.2.1 产品形态

VxRAIL超融合系统4节点2U硬件设备。按硬盘的配置可以分为混合存储节点VxRail 60/120/160/200和全闪存存储节点VxRail 120F/160F/200F/240F/280F。


2.2.2 群集规模
VMware EVO:RAIL是透过群集节点间的写入I/O复制来提供数据保护，最小群集是一个4节点单元，每次扩充是以1节点单元为单位扩充，最大群集规模则是最大到16个，应用设备共64节点。
2.2.3 虚拟化层支持
VMware EVO:RAIL肯定是只支持自家的vSphere，并且是透过NFS协议将储存空间提供给 Hypervisor。
2.2.4 存储架构
VMware EVO:RAIL是由VMware VSAN来提供储存空间，VSAN是vSphere核心的一个功能，架构要比其他产品简洁。VSAN是一种以vSphere内核为基础进行开发、可扩展的分布式存储架构。VSAN通过在vSphere集群主机当中安装闪存和硬盘来构建VSAN存储层。这些设备由VSAN进行控制和管理，VSAN形成一个供vSphere集群使用的统一共享存储层。VSAN会内置在vSphere内核中以减少延迟，它会在每台主机中使用读/写SSD缓存，并在群集内实现智能数据放置。
VSAN类似于以太网里面的VLAN，每个VSAN都有自己的fabric service。同一VSAN的设备可以互相通信，不同VSAN不能互相通信。每个交换机最多可以支持256个VSAN。VSAN 1是默认VSAN，VSAN 4094是隔离VSAN ，用户可用的VSAN id是2到4093。- 所有交换机端口默认在VSAN 1；当有端口从用户自定义VSAN删除后，该端口会自动分配到VSAN 4094，VSAN 4094的设备都是关闭（disabled）的。
VSAN没有使用传统的RAID，VSAN可让用户自行设定失效容许数量（Number of Failures to Tolerate）属性，来决定个别VM能容许多少台vShpere主机或磁盘失效，VSAN会依照这个设定，将VM每笔写入I/O复制不同的数量分散存放。

根据vSAN 版本的不同，支持的功能也不相同，详见下图，主要分为标准版，高级版和企业版：

2.2.5 系统软件
管理方式有两种，如果只使用VMware EVO:RAIL软件，可以通过EVO:RAIL引擎的网页式控制台进行基本管理，也可透 Web Client接口来管理底层的 VSAN等组件。
如果使用的是EMC VxRail,那么可以通过VxRail Manager实现一键式访问，将 VxRAIL 应用装置作为群集进行统一管理。
EMC VxRail系统的软件架构如下：

2.3 华为（FusionCube一体机）
华为FusionCube超融合基础设施是华为公司IT产品线的旗舰产品。FusionCube遵循开放架构标准，于机框中融合刀片服务器、分布式存储及网络交换机为一体，无需外置存储、交换机等设备，并预集成了分布式存储引擎、虚拟化平台及管理软件，资源可按需调配、线性扩展。
2.3.1 产品形态

华为FusionCube 9000/6000基于华为自研的硬件平台，自研的分布式存储以及管理软件，并进行了深度的集成和优化。其中硬件产品为：华为公司自研E9000/X6800刀片服务器，支持计算、存储、交换、电源模块化设计，计算和存储节点按需混配，计算、存储都在框内部署完成，支持GPU，SSD PCIe等I/O加速扩展，支持丰富的交换模块GE,10GE,IB，根据业务要求灵活配置。严格意义上来说，华为FusionCube 9000属于融合产品，因为他的计算和存储节点是分开的，需要在一个框（12U）中配置计算和存储节点刀片，只有华为FusionCube 6000有计算存储融合节点刀片。
2.3.2 群集规模
FusionCube在存储层使用的是华为版的“VSAN”FusionStorage，最小群集是一个3单元的节点，每次扩充是以1节点单元为单位扩充，最大群集规模则是256个服务器节点。
2.3.3 虚拟化层支持
兼容多种主流虚拟化平台，包括FusionSphere和VMware vSphere。FusionCube支持为虚拟化平台提供统一的计算、存储和网络资源。支持虚拟化平台软件的预安装和自动安装部署，一次性完成虚拟化平台、FusionCube等软件的安装，提高系统部署效率。
2.3.4 存储架构
FusionCube内置FusionStorage为业务提供存储服务，FusionStorage是一种分布式存储系统，采用独特的并行架构、创新的缓存算法、自适应的数据分布算法，既消除了热点也提高了性能，并且能够以超快的重建时间实现自动化自修复，提供卓越的可用性和可靠性、线性扩展和弹性。FusionStorage采用全分布式DHT架构，将所有元数据按规则分布在各节点，避免了元数据瓶颈，支持线性扩展。FusionStorage采用了独特的数据分块切片技术，以及基于DHT Hash的数据路由算法，可以将卷的数据均匀的分散到较大的资源池故障域范围内，使得每个卷可以获得更大的IOPS和MBPS性能，也使得每个硬件资源的负载相对均衡。
FusionStorage功能架构图如下所示：

FusionStorage逻辑架构图如下图所示：

FusionStorage免锁化调度的IO软件子系统，彻底解决了分布式锁冲突，使得IO路径上无需进行任何锁操作和元数据查询，IO路径短、时延低；分布式的无状态机头，可以充分发挥各个硬件节点的能力，大大提升了系统的并发IOPS和并发MBPS。同时FusionStorage分布式的SSD cache技术，配合大容量的SATA盘做主存，使得系统的性能可以具备SSD的性能和SATA的容量。
FusionStorage支持多种数据冗余保护机制，如2副本、3副本等；在此基础上，FusionStorage支持设置灵活的数据可靠性策略，允许将不同的副本放在不同的服务器上，保证在服务器故障的情况下，数据仍然不丢失、仍然可访问。同时FusionStorage采用对有效数据分片进行数据的冗余保护，在硬盘、服务器故障的时候，能够对有效数据进行并行重建，1TB硬盘的重建时间小于30分钟，大大增强系统的可靠性。
FusionStorage具有丰富的存储高级功能：例如，1、精简配置，当用户对卷进行写操作时才分配实际物理空间，来为用户提供比物理存储资源更多的虚拟存储资源。2、卷快照，将用户的逻辑卷数据在某个时间点的状态保存下来，作为快照点；快照不限次数且性能不下降。3、链接克隆，基于增量快照提供链接克隆，一个快照可以创建出多个克隆卷，各个克隆卷刚创建出来时的数据内容与快照中的数据内容一致，后续对于克隆卷的修改不会影响到原始的快照和其他克隆卷。
2.3.5 系统软件
FusionCube支持服务器、交换等硬件设备的统一管理，也提供计算、存储和网络等资源的统一管理，大幅提高运维效率和服务质量：
通过一个统一的管理界面提供机箱、服务器、交换机等硬件设备的日常维护，实时掌控系统中计算、存储和网络资源的运行状态，方便维护人员使用。自动监控IT资源和系统运行状态，对系统故障和潜在风险实时报警，告警可以通过邮件的方式通知维护人员。支持快速自动完成新资源的扩容，自动发现待扩容设备，通过向导式的扩容配置，快速完成资源扩容。
主要软件架构：

FusionCube Center：作为FusionCube的管理软件，管理其中的虚拟化资源、硬件资源，提供系统监控管理和运维管理等功能。
FusionCube Builder：提供现场快速安装部署FusionCube系统软件，可用于现场更换虚拟化平台软件或者更新版本。
FusionStorage：使用分布式存储技术，通过合理有序组织刀片服务器的本地硬盘，提供高性能高可靠的块存储业务。
2.4 SMARTX（ZBS和Halo一体机）
SMARTX超融合架构不同于传统计算存储分离架构。只需配置管理一套系统，支持水平扩展和商用x86服务器，通过添置节点扩容就能满足业务增长需求。其主要产品SMARTX ZBS支持高性能分层存储、水平扩展和数据高可靠、高可用三大特性。Smartx ZBS支持智能分层存储，利用先进算法充分挖掘SSD性能。在拥有普通SATA磁盘容量和低成本的同时，实现接近SSD的读写性能。SMARTX ZBS确保数据高可靠和高可用，采用一系列技术对数据进行主动保护，同时能对损坏丢失的数据进行自动修复。
2.4.1 产品形态
用户可以根据自身需求选择购买SMARTX OS软件或SMARTX超融合一体机

SMARTX Halo超融合一体机


2.4.2 群集规模
SMARTX产品基于ZBS分布式集群服务。ZBS里面有三类重要的服务，Zookeeper服务、Meta服务和Chunk服务。Zookeeper是一款开源的分布式一致性协议软件，基于Quorum算法实现。
ZooKeeper 是分布式系统中常用的一个组件，用于在分布式系统中实现一致性。ZooKeeper 可以避免因网络故障而导致的脑裂问题。在实际部署中，根据集群规模的不同，一般采用 3 个实例或 5 个实例的部署方式。3 个实例的部署方式可以容忍集群中任意一个节点宕机。5 个实例的部署方式可以容忍集群中任意 2 个节点宕机。
SMARTX单个群集最大支持255个节点，可以单节点扩充，总的群集数量没有限制。
2.4.3 虚拟化层支持
SmartX支持 KVM，VMware ESXi，XenServer 等虚拟化/云平台。
SmartX ZBS 通过 iSCSI 接口，向 OpenStack 的各个组件提供存储服务。
SmartX ZBS 与 VMware ESXi 的集成方式为，SmartX ZBS 作为存储服务运行在 SCVM（SmartX Controller VM） 中，并对外提供标准的 NFS 访问接口。
2.4.4 存储架构
SmartX 使用ZBS分布式存储管理软件。SMARTX ZBS集群的每个节点从用户的角度来看是等价的。ZBS对外提供块设备接口，可以创建虚拟存储盘。ZBS兼容多种hypervisor，通过简单配置和部署，即可形成超融合架构的计算存储平台。用户可以在任意节点上启动VM。这些VM像使用本地存储一样使用ZBS创建出的虚拟盘。
SmartX ZBS 可以通过存储策略，为每一个虚拟卷设置不同的副本数。目前支持 1，2，3 个副本。不同的副本数定义了不同的数据安全级别。当虚拟卷的副本数为3时，允许同时有2台服务器发生宕机事件。当虚拟卷的副本数为 2 时，允许同时有 1 台服务器发生宕机事件。当副本数为 1 时，意味着数据没有任何保护措施。用户可以针对业务的重要性，为不同虚拟机，以及对应的不同的虚拟卷的副本数进行设置。
ZBS分布式集群里面有三类重要的服务，Zookeeper服务、Meta服务和Chunk服务。Zookeeper是一款开源的分布式一致性协议软件，基于Quorum算法实现。
Meta服务集群运行在每个服务器节点上，并通过Zookeeper集群进行选主，保证了网络出现“脑裂”时，ZBS集群内部只有一个Meta Master提供服务。如果Meta Master所在的服务器宕机，其他服务器上的Meta服务会通过Zookeeper集群重新进行选主，产生新的Meta Master。Meta服务保存虚拟存储池，虚拟存储盘以及相应数据块的位置信息，并负责集群负载均衡、心跳、数据块健康检查、主动恢复以及垃圾回收等集群层面的策略任务。Meta服务集群设计，通过分布式一致性协议，将所有的元数据信息分布在多个服务器节点上，并保证强一致性，使得Meta服务高可用、高可靠，即使全集群超过一半的服务器发生损坏，只要Zookeeper服务在运行中，Meta服务仍然可用。
Chunk服务运行在每个服务器节点上，管理服务器节点所有的本地存储盘，包括PCI-E SSD，SSD，SATA或SAS盘。为减少I/O路径，Chunk不依赖于任何Linux文件系统，在裸盘上直接实现了一层为虚拟化负载定制的高性能分层文件系统。

主要特点：
1、ZBS的数据平面和元数据平面都是分布式集群架构，每一个数据节点都有能力承担另一数据节点的功能，节点之间用ZBS内部的分布式协议完成相互协作和通信。这一特性是系统得以能水平扩展的关键，系统中的任意组件都不会成为瓶颈。
2、ZBS始终把可靠性作为系统设计的最高优先级。在真实环境下，硬件是无法达到100%可靠的，磁盘可能损坏，服务器可能宕机。为处理这些不可预期的硬件错误，保证数据的完整，业务的连续性，ZBS在软件的层面构建了许多“冗余”。例如：ZBS使用了强一致的分布式元数据服务器集群，即便一个元数据服务器停机，也完全不影响元数据服务；同一份数据块也会复制到不同的物理数据节点，防止单点故障。
3、ZBS是面向虚拟化环境设计的分布式存储系统，针对虚拟化环境优化。例如：1）ZBS可以调度数据块到离VM最近的节点，减少远程IO的访问；2）充分挖掘SSD的高性能实现了智能的分层存储，将热数据缓存到快速的SSD中，以应对随机I/O读写；3）支持不停虚拟机的情况下给集群系统升级。
4、ZBS设计的一大考量就是简化运维，从部署、日常管理、出错处理都力争做到自动化。ZBS集群的安装部署非常简单迅速，只需简单配置IP地址和服务器角色等信息就能在1小时内完成安装部署；当硬盘损坏，数据可靠性降低时，ZBS会触发自动修复将数据复制到健康的节点，整个过程无需人工参与。ZBS提供了Web可视化管理和丰富的分析功能，可以采集和分析当前系统的多维指标，并设置预警，第一时间通知管理员。
2.4.5 系统软件
SmartX 软件无硬件平台绑定，支持不同厂商多种型号 x86 服务器。无虚拟化软件锁定，支持 vSphere、XenServer、KVM 等 Hypervisor
SmartX Halo硬件深度整合 SmartX ZBS 分布式块存储软件。提供统一的管理平台软件，可进行虚拟网络管理（支持创建网络高可用的虚拟分布式交换机和VLAN 网络安全隔离）、集群管理（硬件管理，一键扩容，系统服务状态监控）、集群监控报警（监控报警，集群状况掌握）和任务管理（有序管理异步任务、定时任务，一切可见）。 2.5 大道运行（SSAN和FlexCube一体机）
大道云行专注于ServerSAN分布式存储软件，其产品TaoCloud SSAN是典型的ServerSAN存储，遵循软件定义存储的设计思想，基于高性能X86硬件架构，采用去中心化的全对等share-nothing存储体系结构，融入了Scale-out分布式块存储技术，超融合技术、闪存优化技术，构建高效、可靠、智能的存储计算平台。
TaoCloud FlexCube是一个百分之百软件定义的IT基础设施解决方案，它以TaoCloud自主的软件定义块存储产品SSAN为基础，将计算和存储资源、服务器虚拟化及IT可视化管理整合至单一X86硬件设备，并以横向扩展的方式构建规模更大，性能更高，自治/自愈能力更强的分布式计算、存储超融合系统。与早期所谓“融合”方式机械地将单独的存储、服务器和网络设备捆绑到单一机架上的“融合”系统完全不同，TaoCloud的FlexCube超融合系统将计算和存储资源真正融合于单一X86硬件设备上，是一套更易于部署的真正融合设备，可在30 分钟内安装完毕。数据中心管理者将受益匪浅：迅速产生价值、降低成本和进一步简化数据中心部署和管理，并实现有效的空间和能耗节约。
2.5.1 产品形态



TaoCloud FlexCube采用定制化的X86硬件设备，集成度比较高。
2.5.2 群集规模
不管是采用SSAN软件还是FlexCube一体机，最小2节点起步，可以按需增加超融合节点，每次可以增加一个节点，最大节点数量为1024，建议单个群集节点数量不要超过128个。
2.5.3 虚拟化层支持
在虚拟化层可以自由选择Hypervisor的品牌，包括 VMware vSphere、Redhat RHV、Microsoft Hyper-V、Citrix XenServer和国产虚拟化软件等。
2.5.4 存储架构
TaoCloud的服务器 SAN软件SSAN采用Zookeeper进行 X86服务器节点的集群管理，和国内厂商SMARTX的架构基本一致。
SSAN软件包已集成 Zookeeper并实现了自动化安装。SSAN的软件架构见下图。

供客户端使用的 Volume（虚拟盘）与存储资源池及存储对象之间的映射关系如下图。

SSAN与FC-SAN的效果对比：

2.5.4 系统软件
TaoCloud通过简单、方便的管理界面，可实现对数据中心基础架构层的计算、存储、虚拟化乃至外部云资源的统一的监控、管理和运维。
主要软件架构如下：


三、5款超融合基础架构产品对比

超融合基础架构技术的发展和具体应用场景

超融合基础架构与X86融合架构的区别和优势解析


2017-04-18 刘东 AIX专家俱乐部