产品观察

本文内容非商业用途可无需授权转载，请务必注明作者及本微信公众号、微博ID：唐僧_huangliang，以便更好地与读者互动。
在昨天的《Intel Xeon Scalable处理器资料抢先看：存储应用、HPC性能提升》一文中，我列出了新一代CPU相关的部分资料，由于时间关系没有深入解读。考虑到这段时间对Xeon SP架构介绍的文章应该会有不少人写，我还是把精力放在服务器系统上，从本文开始接下来的几天内，陆续通过实物深度解析主流机型的设计特点。
今天的主角是Dell PowerEdge R940，这款3U四路服务器我在《四路Xeon SP服务器内存减半：Intel葫芦里卖的什么药？》中已经做过简单介绍。在这里先推荐读者朋友先参考下2年前我写的上一代PowerEdge R930的设计，以便有个对比：
机身上的示意图很有用：从盘位和UPI连接说起

R940服务器前面板有24个2.5英寸盘位，镂空设计的前面板比之前更时尚一些，有朋友说和EMC存储现在的风格差不多。

后端设计就不特别说了，之前的文章中已经介绍过。

在硬盘/SSD热插拔仓位的上，可以有24个SAS、8个SAS、20 SAS+4 NVMe SAS/SATA混合、16 SAS+8 NVMe SAS/SATA混合、12 SAS+12 NVMe + SAS/SATA混合一共五种布局。
PCIe扩展插槽方面，排除1个NDC网卡之外，还有13个全高槽位。根据已经公开的规格，其中包括10个x16 PCIe Gen3和3个x8 PCIe Gen3，应该说把4个CPU（每CPU 48x PCIelane）的扩展性利用比较充分了。

在R940机箱上盖内侧还有不少说明，这里只重点介绍一部分。不难看出上图是2插槽和4插槽CPU的UPI互连线缆路由方式。
我看有的朋友已经列出过Xeon SP CPU之间的拓扑连接方式，Xeon Platinum和Xeon Gold都像现在的Xeon E7那样提供3条UPI，PowerEdge R940做为R930的继任者自然要支持这种最高的规格。
先看上半部分那张图，A、C和B、D分别对应主板上两CPU的UPI接口，在只配置2颗Xeon SP的时候，需要A-D、B-C互连。再加上主板走线中的1条UPI，这种双路服务器配置是3条UPI连接用满的，比较豪华。至于常规双路机型会怎么设计，这里先留一个伏笔，等到后面的文章我再给大家介绍。
到了R940的4路配置时，我们看到了主板（System Board）之外的另一块PEM板，也就是前文中说过类似R830那样上面搭一块专用的CPU（2颗）、内存（24 DIMM）扩展板。这时4条UPI就要在两块电路板之间连接了。写到这里是不是有点纸上谈兵晦涩难懂？不要着急，后面都有对应的实物说明。

由于找资料的时间不够了，上图引用自一位朋友盘骏的评测：）
这么快拆完？高端四路服务器维护性再提升

从前到后，请大家留意SAS扩展器板、风扇、CPU/内存板、两侧PCIe转接板的位置。

风扇排——R940这一代是4x2的配置，单个风扇92x38mm。

粗线红圈标出的就是SAS Expander芯片，通过它可以访问到24个SAS/SATA盘。同时我还圈出了背板上的6个连接器，它们都能跑PCIe x8信号，也就是每个口驱动2个2.5英寸的U.2 NVMe SSD，如果用满了就是12个NVMe支持。

拆掉导风罩之后，可以看到PEM板与主板之间的相对位置。靠近我们这一侧有个提手是做啥的呢？

在提起插着2颗CPU和内存的PEM板之前，需要注意先取下PCIe转接板，因为对应的信道是由上面2颗CPU（3、4）来提供的。同时我们还要拔掉4条UPI电缆。

PEM板就是这样提起的，有个转轴，也就是说不用像R830那样彻底取下来再维护下面的CPU和内存。

提至90度多点，就可以放在这里保持结构稳定了。

位于主板上的4个UPI线缆槽位，如果配置4路CPU需要A-A、B-B这样的连接哦。

在主板和PEM板之间，除了UPI信号电缆，还有一条方形接口的CLOCK时钟电缆。
CPU固定方式改变，NDC、Dual-SD模块复用

由于硅脂的作用，当我把CPU散热器取下时就这样粘下来了。右下方有个示意——用一字改锥撬一下CPU就能把2者分开（注意轻微的塑料卡子，这里如果用蛮力我不负责哦）。更多关于LGA-3647固定方式的描述，我们留给以后的文章吧。

Broadcom 57800-t是一块双万兆+双千兆的rNDC网卡，熟悉Dell 1U/2U服务器的朋友看到右边浅蓝色的塑料螺钉应该能想到它原本平插在主板上的样子。那么，可以说在R940上对NDC网卡模块做了点“改造”。

尽管转接之后也是走PCIe信道，但它与主板之间的连接器明显不同，要更窄小一些。

这张图右边数第二个插槽，就是NDC网卡专用的。当然作为新一代Xeon SP服务器，R940这个位置也是可选双端口25Gb网卡的。

最后再看看BMC芯片附近，有个蓝色提手的就是Dell的Dual-SD卡模块，朝向我们这一侧的TF卡应该是还兼做vFlash iDRAC管理日志导出等用途。我在《新一代服务器预览：M.2SSD系统盘RAID1方案》中介绍过PowerEdge14G服务器的BOSS（Boot optimized Storage Subsystem）功能，由于是硬RAID 1在R940上应该会占一个PCIe槽位。而对于有些用户来说，使用ESXi时装在SD卡上也够用了。

不仅支持SD卡之间的RAID镜像保护，而且还有写保护开关。
总之，拆解R940比我预想的时间节省了不少。大致两方面原因：首先Purley平台上Intel放弃了内存板和SMI桥的复杂设计；另外，也有Dell做出的一些人性化设计吧。初步感觉在13G基础上有进步：）
今天先写到这里，未完待续。
注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。进一步交流技术，可以加我的QQ/微信：490834312。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）
尊重知识，转载时请保留全文，并包括本行及如下二维码。感谢您的阅读和支持！《企业存储技术》微信公众号：huangliang_storage