产品观察
Dell PowerEdge R740xd解析
时间：2017-07-20
时间：2017-07-20
导读：对于R7x0这样的2U主力服务器机型，说实话我觉得不是特别好写。一方面不如四路有特点，另外又是互联网等行业消耗最多的，可以说乃服务器厂商必争之地。正如业内同行所言，比较有追求的厂商在某些功能参数上如果落后领先者一代，因为只要你愿意投入下一代产品就可能追上。
新闻中心
对于R7x0这样的2U主力服务器机型，说实话我觉得不是特别好写。一方面不如四路有特点，另外又是互联网等行业消耗最多的，可以说乃服务器厂商必争之地。正如业内同行所言，比较有追求的厂商在某些功能参数上如果落后领先者一代，因为只要你愿意投入下一代产品就可能追上。
不过，指标归指标、品质归品质。服务器的R.A.S.（可靠性、可用性、可维护性）才是更重要的实力体现。关于13G PowerEdgeR730的品质，多听听用户端的口碑就好，不需要我在这里主观评论什么。
支持3/6块共900W GPU：PCIe散热设计非易事
今天介绍这台R740xd样机，前面板是2U 12个3.5英寸盘位的布局。
在机箱后端选配了2个3.5英寸热插拔驱动器位，当然该机型还有更多灵活的选择。
还是看机箱上盖内侧的贴纸说明，最上面的配置是除了NDC（网卡模块）之外7个全高PCIe扩展槽；
往下是前端配12个3.5英寸盘（0-11），后背4个2.5英寸盘位；
如果前端换成24个2.5寸硬盘/SSD，后面再加上4个就是28块。当然机箱中部还可以有（+4），这个我在下文中会介绍；
如果都是3.5寸盘，R740xd前后端一共是12+2的配置，同样可以在机箱中部加盘（+4）。
这里我想特别提一下GPU支持，因为好几位朋友都问到我R740（xd）支持3块300W双插槽GPU的事情。据我了解，Dell可能不是第一家做到这点的，但要做到解决好散热却不太容易。
上图引用自技术文档《Direct from Development –PowerEdge Multi-Vector Cooling》，应该代表了R740系列服务器7个PCIe扩展槽可以支持最大的散热气流量，LFM单位表示线性英尺每分钟。一般负载下风扇不需要全速运转，可以根据对应位置的传感器温度值来做精细调节。
与PowerEdge 14G服务器同步更新的iDRAC9管理界面中，PCIe Airflow设置部分可以识别扩展卡是否为第三方、类型（FC HBA、RAID或者SSD）。对于第三方PCIe扩展卡，Dell可能识别不准其功耗，如果自动的200LFM风量不够合适，也可以手动调节。最终都会反应到6个系统风扇的转速上。
注：根据690LFM支撑150W GPU来推算，200LFM大约能支持40多瓦功耗的PCIe扩展卡，如果20W以内改到100LFM应该问题不大。我这么算也可能不准：）
拆下来的风扇排。从这个角度还可以看到PowerEdge R740xd的SAS背板，上面带热管散热片的就是Expander芯片。由于R740xd还可以支持最多24个2.5英寸U.2 NVMe SSD，所以可选不同的热插拔背板。
NVDIMM：电池保护、Oracle数据库和SDS应用
PowerEdge R740服务器支持12个NVDIMM，虽然这台样机没有配，不过从这张图上可以看出对应电池模块固定的位置。如果想从平面变成三维理解，可以接着往下看。
在7月12日的PowerEdge 14G发布会上，Dell列举了2家合作伙伴在应用中测试NVDIMM的价值，其中一家是大名鼎鼎的Oracle服务商云和恩墨。上图中列举的是NVDIMM放Redo log性能提高20倍，对比平台配置信息没有详细讲。
NVDIMM就是DRAM内存的性能，受限于Backupto Flash掉电保护设计，目前容量应该在单条8-32GB之间。如果想兼顾性能（低延时）和容量，使用3D XPoint Memory的Intel Optane SSD P4800X 375GB表现也不错，参见《Optane P4800X评测(2)：Oracle 170万TPM意味着什么？》一文。
另一家合作伙伴是XSKY，也是Dell发起的“未来就绪企业云联盟”成员，我在《NVMeF的另一种用法：连接AFA控制器和JBOF》中曾经提到过两家公司的共同案例。本次介绍了将PMEM（持久化内存）用于Ceph的Journal存储，延时可降低7倍。
此外，这个方案中还用到了PowerEdge 14G服务器的25GbE网卡，iWARP（RDMA）支持可以减少CPU负担、降低存储网络延时。
打开上盖的Dell PowerEdge R740xd
机箱内部驱动器托架、PERC、NDC等
上面就是R740xd机箱中部的驱动器托架，看着和上一代R730xd差别不大，主要变化应该是支持2.5英寸转换套件。由于这里的视角是从机箱后端看，所以最左边那个盘位应该就是和NVDIMM电池共用的。
加上这4个盘位，R740xd支持的最大3.5英寸硬盘可达18块，2.5寸驱动器最多32个。
上图是拆下的机箱后端那2个3.5英寸热插拔托架，分量够重可见钢板厚度。
也许有朋友会问，机箱后端能否设计更多的盘位？内部托架如果使用2.5寸盘可否支持更多？我认为这里要考虑2个问题，不一定最大就好：
1、硬盘控制器（SAS RAID卡、HBA）、扩展器支持的端口数量。比如48口SAS Expander，如果支持双RAID卡上行占据16 lane，剩下正好是32盘位；
2、散热、散热、散热，重要的事情讲三遍。因为机箱内部和后端的硬盘/SSD进风温度没有前面板那么乐观，这个和GPU支持是同样的道理。
我拆下其中一颗CPU的散热器，下面露出LGA-3647插座。
Dell PERC SAS/SATA RAID卡模块的样子没有变，14G服务器除了PERC9还可选新一代PERC10（H740p、H840），Cache容量可以更大。
为什么还用电池而不是电容，理由参见《炉石传说数据库损坏：这锅RAID卡电池背吗？》。
Dell服务器专用的NDC网络子卡模块，这里同样配置了Broadcom 10G/GbE 2+2P 57800-t rNDC。大家还记得上一篇中它在PowerEdge R940中是怎么转成竖插的吗？
细心的朋友可能看到了它——IDSDM Dual-SD模块插在NDC和电源之间的主板边缘位置。
今天先写到这里吧，下周有时间继续给大家分享别的Xeon Scalable服务器。
参考资料
《Direct from Development – PowerEdge Multi-Vector Cooling》http://en.community.dell.com/techcenter/extras/m/white_papers/20444244
注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。进一步交流技术，可以加我的QQ/微信：490834312。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）
尊重知识，转载时请保留全文，并包括本行及如下二维码。感谢您的阅读和支持！《企业存储技术》微信公众号：huangliang_storage
不过，指标归指标、品质归品质。服务器的R.A.S.（可靠性、可用性、可维护性）才是更重要的实力体现。关于13G PowerEdgeR730的品质，多听听用户端的口碑就好，不需要我在这里主观评论什么。
支持3/6块共900W GPU：PCIe散热设计非易事
今天介绍这台R740xd样机，前面板是2U 12个3.5英寸盘位的布局。
在机箱后端选配了2个3.5英寸热插拔驱动器位，当然该机型还有更多灵活的选择。
还是看机箱上盖内侧的贴纸说明，最上面的配置是除了NDC（网卡模块）之外7个全高PCIe扩展槽；
往下是前端配12个3.5英寸盘（0-11），后背4个2.5英寸盘位；
如果前端换成24个2.5寸硬盘/SSD，后面再加上4个就是28块。当然机箱中部还可以有（+4），这个我在下文中会介绍；
如果都是3.5寸盘，R740xd前后端一共是12+2的配置，同样可以在机箱中部加盘（+4）。
这里我想特别提一下GPU支持，因为好几位朋友都问到我R740（xd）支持3块300W双插槽GPU的事情。据我了解，Dell可能不是第一家做到这点的，但要做到解决好散热却不太容易。
上图引用自技术文档《Direct from Development –PowerEdge Multi-Vector Cooling》，应该代表了R740系列服务器7个PCIe扩展槽可以支持最大的散热气流量，LFM单位表示线性英尺每分钟。一般负载下风扇不需要全速运转，可以根据对应位置的传感器温度值来做精细调节。
与PowerEdge 14G服务器同步更新的iDRAC9管理界面中，PCIe Airflow设置部分可以识别扩展卡是否为第三方、类型（FC HBA、RAID或者SSD）。对于第三方PCIe扩展卡，Dell可能识别不准其功耗，如果自动的200LFM风量不够合适，也可以手动调节。最终都会反应到6个系统风扇的转速上。
注：根据690LFM支撑150W GPU来推算，200LFM大约能支持40多瓦功耗的PCIe扩展卡，如果20W以内改到100LFM应该问题不大。我这么算也可能不准：）
拆下来的风扇排。从这个角度还可以看到PowerEdge R740xd的SAS背板，上面带热管散热片的就是Expander芯片。由于R740xd还可以支持最多24个2.5英寸U.2 NVMe SSD，所以可选不同的热插拔背板。
NVDIMM：电池保护、Oracle数据库和SDS应用
PowerEdge R740服务器支持12个NVDIMM，虽然这台样机没有配，不过从这张图上可以看出对应电池模块固定的位置。如果想从平面变成三维理解，可以接着往下看。
在7月12日的PowerEdge 14G发布会上，Dell列举了2家合作伙伴在应用中测试NVDIMM的价值，其中一家是大名鼎鼎的Oracle服务商云和恩墨。上图中列举的是NVDIMM放Redo log性能提高20倍，对比平台配置信息没有详细讲。
NVDIMM就是DRAM内存的性能，受限于Backupto Flash掉电保护设计，目前容量应该在单条8-32GB之间。如果想兼顾性能（低延时）和容量，使用3D XPoint Memory的Intel Optane SSD P4800X 375GB表现也不错，参见《Optane P4800X评测(2)：Oracle 170万TPM意味着什么？》一文。
另一家合作伙伴是XSKY，也是Dell发起的“未来就绪企业云联盟”成员，我在《NVMeF的另一种用法：连接AFA控制器和JBOF》中曾经提到过两家公司的共同案例。本次介绍了将PMEM（持久化内存）用于Ceph的Journal存储，延时可降低7倍。
此外，这个方案中还用到了PowerEdge 14G服务器的25GbE网卡，iWARP（RDMA）支持可以减少CPU负担、降低存储网络延时。
打开上盖的Dell PowerEdge R740xd
机箱内部驱动器托架、PERC、NDC等
上面就是R740xd机箱中部的驱动器托架，看着和上一代R730xd差别不大，主要变化应该是支持2.5英寸转换套件。由于这里的视角是从机箱后端看，所以最左边那个盘位应该就是和NVDIMM电池共用的。
加上这4个盘位，R740xd支持的最大3.5英寸硬盘可达18块，2.5寸驱动器最多32个。
上图是拆下的机箱后端那2个3.5英寸热插拔托架，分量够重可见钢板厚度。
也许有朋友会问，机箱后端能否设计更多的盘位？内部托架如果使用2.5寸盘可否支持更多？我认为这里要考虑2个问题，不一定最大就好：
1、硬盘控制器（SAS RAID卡、HBA）、扩展器支持的端口数量。比如48口SAS Expander，如果支持双RAID卡上行占据16 lane，剩下正好是32盘位；
2、散热、散热、散热，重要的事情讲三遍。因为机箱内部和后端的硬盘/SSD进风温度没有前面板那么乐观，这个和GPU支持是同样的道理。
我拆下其中一颗CPU的散热器，下面露出LGA-3647插座。
Dell PERC SAS/SATA RAID卡模块的样子没有变，14G服务器除了PERC9还可选新一代PERC10（H740p、H840），Cache容量可以更大。
为什么还用电池而不是电容，理由参见《炉石传说数据库损坏：这锅RAID卡电池背吗？》。
Dell服务器专用的NDC网络子卡模块，这里同样配置了Broadcom 10G/GbE 2+2P 57800-t rNDC。大家还记得上一篇中它在PowerEdge R940中是怎么转成竖插的吗？
细心的朋友可能看到了它——IDSDM Dual-SD模块插在NDC和电源之间的主板边缘位置。
今天先写到这里吧，下周有时间继续给大家分享别的Xeon Scalable服务器。
参考资料
《Direct from Development – PowerEdge Multi-Vector Cooling》http://en.community.dell.com/techcenter/extras/m/white_papers/20444244
注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。进一步交流技术，可以加我的QQ/微信：490834312。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）
尊重知识，转载时请保留全文，并包括本行及如下二维码。感谢您的阅读和支持！《企业存储技术》微信公众号：huangliang_storage
产品观察
- 2017-08-25为严苛而生，Lenovo ThinkSystem SR950优势尽显
- 2017-07-20Dell PowerEdge R740xd解析
- 2017-07-20Dell PowerEdge 14G服务器预览：R640、R740、C6420
- 2017-07-20Dell PowerEdge R940解析：四路顶配服务器
- 2017-07-14新技术亮点解读：戴尔14G服务器有话说
行业新闻
- 2017-08-07SmartX成为唯一同时进入两份市场报告的中国超融合产品厂商
- 2017-08-01经纬创投领投 超融合厂商 SmartX 完成亿元 B 轮融资
- 2017-07-13戴尔推出第14代PowerEdge服务器 助力用户构建现代化数据中心
- 2017-07-13戴尔重磅发布PowerEdge 14G服务器
- 2017-05-13Windows勒索病毒中国大爆发：真相在此！