NVMe SSD 的性能有多高？常见 PCIe 3.0 x4 通道的 NVMe SSD，4KB 随机读取性能接近 80 万 IOPS 已经不是新鲜事，采用 PCIe x8 通道的 NVMe SSD 更是可以获得 100 万 + 的 IOPS。

性能高也有 “烦恼”，比如我们突然发现 CPU 的性能不够了——硬盘时代，大家常说存储是系统的性能瓶颈，经过 SATA SSD 的过渡，PCIe 到 NVMe SSD，终于把 CPU 变成了瓶颈。提高 CPU 性能有两大手段：高主频与多内核。不管用哪个手段，最终都反应为能耗的一路攀升。今年 7 月刚刚发布的至强可扩展处理器（Xeon SP）功耗已经突破 200W，比上一代的至强 E5 v4 高出近 50%，对普遍采用风冷散热的通用服务器而言，结构设计的功力空前重要。

并且，NVMe SSD 的性能发挥的前提是高速的 PCIe 通道。一个 U.2 接口的 NVMe SSD 需要 PCIe x4，而每个至强 SP 提供 48 条 PCIe 3.0 通道，比前代提高 20%。双路至强 SP 服务器共有 96 条 PCIe 3.0 通道，全部用上正好支持 24 个 U.2 的 NVMe SSD，刚好对应主流 2U 服务器的 24 个前置 2.5 英寸盘位设计。即使考虑到 PCH、网卡以及其他必要组件也要占用 PCIe 通道，实际上能支持的 NVMe SSD 数量不会有那么多，但 CPU 也未必吃得消啊……

考验服务器设计能力的时候到了，尤其是 U.2 NVMe SSD 的加入。一方面 2U 标准机箱内的高性能（通常意味着高能耗）组件更多，需要更好的散热设计；另一方面，如何去兼顾 NVMe SSD 的性能，同时继承双路服务器 “多面手” 的优良传统？ 

新处理器的推出必然带动新一轮服务器升级，在英特尔正式发布至强 SP 家族的当天，戴尔也同步推出了基于该系列处理器家族的第一波 14G 服务器，包括肩负更新主流 2U 市场重任的 PowerEdge R740/R740xd。在 2017 戴尔科技论坛（DTF）举办之前，企事录实验室获得了一台配置诚意满满的 Dell PowerEdge R740xd 服务器：双路 Xeon Gold 6130 处理器（8 张图速览新至强：Skylake 架构、外貌与型号）、384GB DDR4-2666 内存，双 M.2 SSD 配置的 BOSS（Boot Optimized Storage Solution，优化启动存储方案）卡，（支持 RoCE 的）双端口 25GbE 网卡，以及最重要的 4 块 U.2 NVMe SSD。

乍一看，作为新一代的 R740xd 跟以前的 13G 服务器好像没什么区别，但细看却大有不同。先看前面板，注意最右 4 块盘，就是高性能的 U.2 规格 NVMe SSD，来个特写：

4 块 800GB 的 U.2 NVMe SSD，加上内部的 Xeon Gold 6130 处理器和 384GB 内存，让我们充满期待。

R740xd 内部照，尾部的两个 PCIe ×16 插槽上各连接了一个扣着银色散热片的 PCIe Card，这实际上是连接前面板 U.2 NVMe SSD 的 PCIe 扩展卡。

这是 PCIe 扩展卡的核心——基于 PLX 的 PCIe Switch 芯片，采用 PCIe 3.0 x16 接口，分为 AB 两个端口，每个端口是 PCIe x8 规格，支持两块 x4 的 U.2 NVMe SSD。因此一块卡可以全速连接 4 块 U.2 SSD。

Dell PowerEdge R740xd 服务器中的 U.2 NVMe SSD 连接示意图，最大可支持 12 个 U.2 SSD，或者最大 24 块 SATA/SAS SSD 或者 HDD，亦或两者按比例混插。

再看看 R740xd 中的 PCIe 通道分配情况：

根据企事录手里的这台戴尔 R740xd 服务器的配置，我们画了如上的示意图。

CPU1/2 分别提供不同的 PCIe 扩展槽（其余的 PCIe 通道被 PCH、板载网卡等周边设备所使用）：

由此可见，尽管双路平台 R740xd 有 96 条 PCIe 通道，但仍有不够用的感觉，除了 BOSS 卡（x4）、H740p SAS RAID 卡（x8）、25GbE 网卡（x8）、PCH 和板载网卡（10GbE 和 1GbE）之后，也仅给高速的 NVMe SSD 留下了 48 条 PCIe 通道可供使用，恰好满足 12 个 NVMe SSD 所需要的 PCIe 通道数。（选择 PCIe 卡桥接 U.2 相比板载 U.2 接口，灵活性更好。在服务器上将更多的 PCIe 总线留给扩展性更好的 PCIe 插槽，会方便用户的使用。）

在企事录实验室中的这台 Dell PowerEdge R740xd 服务器配备了 4 块三星 PM1725 系列的 U.2 NVMe SSD： 

Dell PowerEdge R740xd 服务器中所使用的 NVMe SSD，800GB 容量，属于三星 PM1725 系列：最大 3.1GB/s 带宽，4k 随机读写 IOPS 分别为 75 万和 12 万。

数据库类应用是目前最能充分发挥 NVMe SSD 性能优势的企业应用场景之一，尤其是关键业务数据库。因为 NVMe SSD 具有很好的单位 IOPS 成本，又具有数据库类应用所需要高性能和低延迟。同时考虑到 R740xd 服务器配备了两颗英特尔 Xeon Gold 6130 处理器和 384GB 内存，具有很好的性能，所以企事录实验室首先部署了一个单实例的 Oracle 数据库环境，以此来评估这台 PowerEdge R740xd 的性能表现。

在构建好 Oracle 12c 数据库之后，考虑到 R740xd 中配备了 384GB 的内存，而 4 块 NVMe SSD 的容量之和为 3.2TB，为避免大内存容量导致的数据库 I/O 性能虚高，企事录在创建数据库过程中稍微限制了 Oracle 所能使用的内存容量，即将 SGA 的内存容量限制为 64GB，同时写入 200GB 的测试数据。稳定运行 1 小时之后，获得 Oracle 数据库性能：

在 4 块 NVMe SSD 下，配备 Xeon Gold 6130 处理器的 R740xd 服务器获得了 172.5 万的平均 TPM，峰值 TPM 超过 186 万，接近 200 万 TPM；平均 TPS 接近 3 万左右，峰值 TPS 超过 3.2 万，且平均响应时间仅为 3ms。

单纯就性能而言，平均 3 万 TPS 的 Oracle 数据库性能已经接近了某些全闪存阵列的性能水平。但结合企事录实验室以往的测试经验来看，计算能力应该达到了瓶颈，毕竟 Oracle 数据库也是非常消耗计算能力的应用，从上图可以看到，R740xd 的 CPU 占用率已经超过了 80%。

尽管黄金版的 6130 处理器在至强 SP 家族中只处于中上游水平，但其结合 NVMe SSD 构建的单实例 Oracle 数据库性能已经接近上一代顶级至强 E5-2699 v4 处理器的性能。200 万 TPM 对于双路服务器而言，似乎是一个不过逾越的难关，但在新一代 Xeon 处理器中却有望破除。

上图是在 Oracle 数据库测试过程中，从（Oracle Linux 7.4）操作系统上获得的截图，虽然有些核心的利用率为 50% 左右，但有些核心已经高达 90%，从最上面的 CPU History 曲线来看，已经有部分核心的利用率接近 100%，这应该是 Oracle 数据库性能无法进一步提升的瓶颈所在。

为了证实 4 块 NVMe SSD 并未达到性能瓶颈，企事录实验室利用 Oracle 数据库本身的命令行脚本测试了在 1 块 SSD 和 4 块 SSD 情况下，Oracle 数据库随机读取的性能情况：

图上为 1 块 NVMe SSD 情况下，Oracle 数据库的随机读取性能，接近 42 万 IOPS，带宽在3.3GB/s 左右，这基本是单个 U.2 版本 PM1725 的极限性能；图下则为 4 块 NVMe SSD 情况下，Oracle 数据库随机读取性能高达 170 万 IOPS，带宽约 13GB/s。简单推算，随着 NVMe SSD 的增加，其 IOPS 性能是线性增长的。

这一测试结果基本可以确定并非 NVMe SSD 出现瓶颈，接下来，企事录实验室分别针对 1、2、3 块 NVMe SSD 下的 Oracle 数据库性能进行了测试，并结合 4 块 NVMe SSD 下的 Oracle 数据库性能：

分别在 1~4 块 NVMe SSD 作为数据库存储下，基于 R740xd 服务器构建的 Oracle 数据库性能表现，可见在 2 块 NVMe SSD 情况下，Oracle 数据库已经获得最高性能，随着 NVMe SSD 的增加，其性能表现并没有明显变化。究其原因，即这台 R740xd 的两个 Xeon Gold 6130 处理器计算性能达到上限，如果使用更高计算能力的处理器，Oracle 数据库的性能还有提升的空间。