前言

现在放在你面前的是，两块来自Mellanox HPE 544+FLR QSFP 40G的四万兆网卡。

现在又放在你面前的是，两块来自宏碁掠夺者GM7 PCIe 4.0 4T的满速无外缓盘。

那么它们之间能碰撞出什么样的火花呢？

我们这一次整个大活，我们将会以这两块40G的网卡和这两块4T的PCIE 4.0盘来组装一台NAS出来。

前排提示，本期纯整活，方案实现并不完美，且并不具备日常使用价值。

选择硬件

全闪NAS中最核心的三个部件就是硬盘、网卡、主板。

网卡是对外连接的上限，硬盘的速度是内部传输的上限，主板是承载这整个系统的基板，兼容性和通道的速度都由它决定。整个系统就像是一个水泵，网卡就像是出水口，出水口的直径限制水的流量，硬盘就像水泵电机，转速高低决定水流速度，主板就像整个水泵外壳。

硬盘选择

这一次选用这的两块4T的PCIe4.0盘是来自宏碁掠夺者GM7，是一块非常经典的满速无外缓盘。

官方标称顺序读取速度能到7400MB/s，顺序写入速度能有6500MB/s，950K IOPS的随机读取性能，标称性能可以说是无外缓盘的顶级性能了。

我们比较关心的售后方面是五年质保，写入量保修4T版本给到了2400TBW，五年质保和TBW以先到者为准，这样的售后服务还是非常让人放心的。

包装依旧是宏碁掠夺者的经典包装，黑色哑光搭配亮面的硬盘图片，质感非常不错。

正面是自带的石墨烯散热片，能有效导热，也可以搭配金属散热片使用。

ps：盘自带的散热片被撕过所以有点褶皱。

硬盘背面就是常规的序列号信息。

正面四颗粒，没有独立缓存。所有芯片集中在正面，这一点非常不错，散热效率比较高，设备兼容性更加好了，适合笔记本用户和主机用户，当然也适合台式机用户，可以搭配主板自带金属马甲散热了，无需考虑像双贴盘那样背面颗粒散热不佳的情况。

主控芯片是来自国产联芸科技的MAP1602主控，是联芸的第三代主控产品，采用了12nm制程工艺，无缓存设计，全盘模拟SLC策略。

颗粒是来自长江存储的232层TLC颗粒——X3 9070，可以做到单颗1T容量，实现了高达 2400MT / s 的IO 速度，性能十分强悍。

那接下来上机看一下这块硬盘能有怎么样的表现吧！

硬盘测试

首先测试单块硬盘的测试平台不是我们最终实现NAS的平台。

测试平台：零刻SER7 MAX这次换演员了（bushi，纯属是不想拆机器了）

CPU：R7 7840HS

系统盘和测试盘都跑在PCIe4.0 x4通道上，并且做好了散热。

CDI

首先是检测硬盘SMART信息的crystal disk info软件，可以看到硬盘的传输模式正确跑在PCIe4.0 x4通道上，待机温度在43度。

CDM

速度测试第一项是crystal disk mark软件，1G测试，可以看到读写速度分别是7122MB/s和6503MB/s，最影响日常使用的4K随机读写性能更是突破了1000K，顺序读取是927K IOPS，顺序写入高达1030K IOPS。

AS SSD

AS SSD 的策略与CDM不同，其测试成绩更贴近日常使用一些，不过也是娱乐软件，CDM追求标准的峰值性能，AS SSD每次测试波动会比较大。

顺序读写能达到5668MB/s和5491MB/s，最终获得了8568的好成绩，可以用作同价位固态参考。

AIDA64 Disk Benchmark

接下来是最漫长且“残酷”AIDA64的写入测试，通过这个软件测试，可以很直观地看到这块无外缓盘的模拟SLC缓存大小，和整体写入速度，以及主控的策略。

只能说不愧是4T盘呀，测试足足跑了一个半小时才全部写入完成。

从全盘写入的情况来看，宏碁掠夺者GM7 4T呈现三段式写入，SLC缓存的大小在1070G左右，缓内的读写的速度在5200MB/s左右，对于4T盘来说，将近30%的SLC缓存还是挺大的了。

当SLC缓存写完的时候，进入到TLC直写阶段，速度还能保持在2400MB/s左右，但是TLC直写阶段非常短，当写入到2T的时候就会进入到第三段，速度保持在840MB/s左右。

URWTEST

在最贴近实际使用的URWTEST测试中，宏碁掠夺者GM7缓内的速度实际能有3000到3500 MB/s，性能还是非常不错的。

可是，硬盘实际缓内写入还是只有3000+ MB/s，根本没办法到达40G网卡的极限性能呀，那要怎么办？

我们准备直接给这两块盘组建RAID0阵列，我就不信跑不上40G！

网卡选择

我们为什么会选择卖螺丝核心的HP544+FLR网卡？

因为便宜，实在是太便宜了。

40G的网卡只需要40块钱，隔壁Intel的82599芯片的万兆光口卡还要100块钱呢，40G的网卡已经是白菜价格了。

HP544+FLR QSFP网卡是迈络思CX3PRO芯片，同时支持10G、40G或56G的以太网和InfiniBand。

以太网方面支持

IEEE Std 802.3ae 10 Gb 以太网

IEEE Std 802.3ba 40 Gb 以太网

IEEE Std 802.3ad 链路聚合

IEEE Std 802.3az 高能效以太网

IEEE Std 802.1Q/.1P VLAN 标记和优先级

IEEE Std 802.1Qau 拥塞通知

IEEE Std 802.1Qbg

IEEE P802.1Qaz D0.2 ETS

IEEE P802.1Qbb D1.0 基于优先级的流量控制

IEEE 1588v2

巨型帧支持 (9600B)

INFINIBAND支持

符合 IBTA 规范 1.2.1

基于硬件的拥塞控制

1600 万 I/O 信道

256 至 4K 字节 MTU，1G 字节消息

兼容性

PCI EXPRESS 接口

符合 PCIe Base 3.0 标准，兼容 1.1 和 2.0

2.5、5.0 或 8.0GT/s 链路速率 x8

自动协商为 x8、x4、x2 或 x1

支持 MSI/MSI-X 机制

但是这个网卡比较特殊的是，插槽并不是正常的PCIE插槽。这个也不是什么问题，现在已经有这个KCORES开源的转接板，有能力的可以自己打板，成品的转接板也都不贵，一块转接板加挡板也就二十来块钱。

我们这两张网卡淘宝入手150，图个省心。

别看40G网卡这么快的速率，其实这已经是被淘汰的产品了，在服务器产品中，用于云计算、超算、数据中心、人工智能等使用场景，主流IB网卡早已经到100G以上，甚至200G、400G的速率。

主板选择NAS端主板

因为考虑到要使用PCIE 4.0固态做阵列，所以对主板有硬性要求，首先要支持PCIE 4.0，且有两个4.0 M.2槽位，考虑到544FLR这个网卡在这两代最新平台上兼容性，有些平台插在南桥出来的PCIE通道上并不能兼容，所以主板的选择比较慎重。

我们目前手上能有两条PCIe 4.0 M2插槽的主板，符合条件的只有三块，分别是技嘉Z790 GAMING X AX，微星MSI H670战斧导弹，尔英B760M幻翼。

虽然这三块规格上差别很大，但是对于网卡来说，本质上大差不差，除了直连CPU的X16插槽，底下南桥走的PCIE通道都是不足X8的，且不兼容，这真是太难受了。

最后兜兜转转还是用了尔英B760这块，插在直连CPU的X16插槽上。别问为啥不用Z790这些上直连CPU的X16插槽，问就是不兼容（悲）

尔英这块板子虽然性价比非常高，做工也不错，但是这个散热马甲真是有点难受，会挡散热器，无奈只能拆掉了，好在cpu是12100，毫无供电压力。

客户端主板

客户端的平台搭配反而更加让我头疼了，其实要双向实现40G的传输速度，客户端主板的需求其实和NAS端是一样的，都需要双M2插槽，且是4.0通道，这就很难受了。

我就只能退而求其次选择了这块微星的X299 Raider，之前玩四通道内存工作站平台剩下的主板，闲置了好久，这一次再次请出山。

但是可惜的是X299是PCIE 3.0平台，并不能用4.0盘来组阵列了，肯定会对最终实现有所限制的，但是目前也没办法了，要么买张PCIE拆分卡，插满六块3.0固态来组阵列强制堆满速度，要么换主板。

不过最后我们选择的是两块PCIe 3.0的盘组成RAID0，这样也能变相实现。

选择系统

要跑满40G网卡的速度，我们需要用到一项技术——RDMA，

远程直接内存访问(即RDMA)是一种直接内存访问技术，它将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入。RDMA最早在Infiniband传输网络上实现，后来业界厂家把RDMA移植到传统Ethernet以太网上，降低了RDMA的使用成本，推动RDMA技术普及。

RDMA本身只是一种概念，具体实现不同厂商都有自己的实现方式，目前市场上能见到的RDMA产品可以分为三类：

1. InfiniBand——“无限带宽”，其诞生的目的是为了取代PCI总线，后续转向到计算机集群互联方向和存储设备的连接，而Mellanox这家以色列芯片公司（现在是被英伟达收购）是目前InfiniBand市场的绝对领导者。

InfiniBand通过交换机在节点之间直接创建一个专用的受保护通道，并通过InfiniBand适配器管理和执行的远程直接内存访问（RDMA）和发送/接收卸载，方便了数据和消息的移动。适配器一端通过PCI Express（PCIe）接口连接到CPU，另一端通过InfiniBand网络端口连接到InfiniBand子网。与其他网络通信协议相比，这提供了明显的优势，包括更高的带宽、更低的延迟和增强的可扩展性。

2. RDMA最早在Infiniband传输网络上实现，后来业界厂家把RDMA移植到传统Ethernet以太网上，降低了RDMA的使用成本，推动RDMA技术普及。在Ethernet以太网上，根据协议栈融合度的差异，分为iWARP和RoCE两种技术，而RoCE又包括RoCEv1和RoCEv2两个版本(RoCEv2的最大改进是支持IP路由)。

RoCE是为了降低IB部署的成本而推出，实际上的核心就是把IB的包架在通用Ethernet上发出去，因此对于RoCE，实际上它的二层包头已经是普通以太网的包头。

（图片来自互联网）

在传统TCP/IP中，来自网卡的数据，先拷贝到核心内存，然后再拷贝到应用存储空间，或从应用空间将数据拷贝到核心内存，再经由网卡发送到Internet。这种I/O操作方式，需要经过核心内存的转换。它增加了数据流传输路径的长度，增加了CPU的负担，也增加了传输延迟。

RDMA其实是充当了一个”没有中间商赚差价”的角色，”像是某二手车交易网”。

落实到系统内功能，考虑到我们是要当作NAS使用，SMB功能是绕不开的。

Windows Server 包含一个称为 SMB 直通的功能，用来支持使用具有远程直接内存存取 (RDMA) 功能的网络适配器。 使用 RDMA 的网络适配器能够全速运行， 延迟时间非常低，CPU 使用量非常少。 对于 Hyper-V 或 Microsoft SQL Server 等工作负载，这让远程文件服务器如同本地存储一样。

在Windows server上SMB直通是自动配置的。

所以NAS端的系统我们就选择Windows server 2022版本，那客户端要选择什么呢？这是个比较难选择的问题。

日常使用Windows server 2022肯定是不合适，那难搞的驱动和繁琐的登录，足够劝退我了，最终还是在X299上部署了Windows 10专业工作站版，Windows专业工作站版支持SMB直通功能（单相直通）。

两端都支持SMB直通，性能上会更好。

实际测试

首先我们跑一下阵列的峰值性能，我很好奇，双PCIe4.0的满速盘组成RAID 0会是怎样恐怖的存在。

双PCIe4.0的阵列固态速度真是牛逼啊！顺序读写速度基本上是单盘的两倍。

其实我们从测试结果可以看出，raid0确实能大大增加顺序读写性能，但是4k性能并不会有明显提升，甚至会有所下降，因为软raid0存储一份数据要拆成两份存到两个盘中，那速度自然是相当快的，但是4K的小文件并不能拆开，同时因为是软raid阵列，CPU还要负责寻址，所以4k性能上不会有太大提升。

首先我们在Windows server端创建好用户，创建好共享，并确保两端都开启SMB直通，然后开始测速，这里总共112G的文件，拷贝到NAS里，实际的速度能有2.3G每秒左右，之前测试的时候最高能跑到3G每秒，实际跑下来并不能完全跑满40G网卡的速度，主要是被X299这套的3.0硬盘限制了发挥，如果再来两条宏碁掠夺者的4.0的盘，跑满40G的局域网应该是没有什么问题的。

总结

这次折腾虽然有点点遗憾，但是也算是完成了全闪40G NAS的组建，传输的速度还是很不错的！

这次也算是第一次接触这种PCIe4.0的大容量固态盘，价格貌似也是大容量固态盘中比较低的，这用来大容量存储还是很不错的选择。

好啦，以上就是本篇文章的全部内容啦～如果对于这台设备还有什么别的想问的，也可以在评论区告诉我，后续也会出一期视频内容～

原创不易 喜欢的小伙伴可以点个赞

让我们下篇文章

再见～