龙空技术网

新华三H3C R4700 G3高密机架服务器评测

至顶科技 2146

前言:

今天兄弟们对“高密度服务器与机架式服务器区别在哪”大约比较重视,姐妹们都想要知道一些“高密度服务器与机架式服务器区别在哪”的相关资讯。那么小编也在网摘上收集了一些有关“高密度服务器与机架式服务器区别在哪””的相关资讯,希望你们能喜欢,看官们一起来了解一下吧!

新华三集团(简称新华三)是全球领先的新IT解决方案领导者,致力于新IT解决方案和产品的研发、生产、咨询、销售及服务,新华三拥有H3C品牌的全系列服务器、存储、网络、安全、超融合系统和IT管理系统等产品,能够提供大互联、大安全、云计算、大数据和IT咨询服务在内的一站式、全方位IT解决方案。同时,新华三也是HPE品牌的服务器、存储和技术服务的中国独家提供商。

日前,我们收到了新华三(以后称为H3C)送来的一台H3C UniServer R4700 G3服务器,它在1U机架内提供了双路Intel Skylake-SP处理器以及多达24个DDR4-2666内存插槽,可见,与标准的2U双路服务器相比,H3C UniServer R4700 G3针对密度进行优化,按照H3C的白皮书,同样针对密度优化的H3C UniServer还有R2700 G3,它们均为1U机架式服务器。

H3C UniServer R4700 G3高密度1U机架式服务器官方照片,来源:H3C

H3C UniServer R4700 G3的设计获得了reddot award 2017 winner——红点2017设计大奖,它的整体设计非常有特色。

漂亮的前置面板,来源:H3C

R4700 G3在紧凑的1U空间内提供了与传统2U机架媲美的计算/内存性能,它能支持Intel全系列的Xeon Scalable Processor(简称Xeon SP)处理器:

Intel Xeon Scalable处理器初代Skylake-SP型号一览

仅1U高度,来源:H3C

R4700 G3最高可以支持至TDP 205W的Xeon SP Platium 8180M,可以每颗处理器提供28个核心、56个线程,以及1.5TiB的内存支持能力。并不是所有的1U机架服务器都能支持这样的顶级配置。

不带前面板深度为768.3mm,带前面板深度为780.2mm,可以塞入0.8米的小机柜,不过最好还是用大一点的留些余地,来源:H3C

整机在双路配置下最多可以提供56个硬件核心和112个硬件线程,最多3.0TiB DDR4-2666内存支持能力。

尾部官方照片,来源:H3C

从尾部来看,R4700 G3提供了两个全高的PCIe扩展槽,除了常见的网卡/阵列卡等的扩展卡之外,它还能支持企业级高性能GPU卡,提供两块NVIDIA M4或M4000的支持能力。前面说过,H3C UniServer R4700 G3获得了红点设计大奖,接下来,我们会从外及里稍微详细介绍一下H3C UniServer R4700 G3的独特设计。

尽管是1U机架服务器,H3C UniServer R4700 G3仍然提供了最多12SFF(Small Form Factor)的2.5"存储扩展能力,其中包含了10个前面板配置和2个后置扩展配置。我们收到的型号是8SFF加一个光驱位的配置,不过光驱没有被实际安装,一般来说,远程管理界面的Virtual Media功能几乎可以完全替代前置面板的光驱功能:

H3C UniServer R4700 G3 8SFF配置

H3C UniServer R4700 G3通过板载位置搭载的阵列卡,可以支持标准的SATA和SAS硬盘或者SSD,H3C UniServer R4700 G3还可以支持最多4个NVMe SFF SSD,同时也能支持M.2 SSD。

不占用额外扩展槽位的专用阵列卡位置,我们收到的型号搭载的是H3C UN-RAID-P430-M1阵列卡,通过两个HD-SAS提供8个SAS 12Gb/s接口

透过HDM远程管理界面可以看到阵列卡的型号,以及配置的三块硬盘,它们组成了一个标准的RAID 5阵列

配置的三块Seagate Enterprise Performance 15K HDD v5,型号ST300MP0005,接口SAS 12Gb/s,容量300GB,转速达15,000RPM,是HDD硬盘当中的佼佼者

H3C UN-RAID-P430-M1实际上是现属Microsemi的PMC的阵列卡,除了支持最新的SAS 12Gb/s接口之外,它还支持很多比较新的特性。

服务器电源是绿色节能的最重要部件之一

如今的服务器厂商已经越来越注重绿色节能,H3C UniServer R4700 G3只提供了两种高效电源选择:94%效率的白金版(80Plus Platium)和96%效率的钛金版(80Plus Titanium),80Plus标志的最初含义就是电源效率典型值不低于80%,但现在H3C将其提升到了94%。我们收到的型号搭配的是两个FSP全汉的550W电源。比较特别的是,H3C UniServer R4700 G3支持336V的HVDC高压直流电源。

HDM界面里面可以看到电源的型号,实际上它还能看到实时功率(在另一个界面)

由于H3C可以1U的厚度里塞入顶级的CPU、内存和不那么顶级的GPU,因此这个散热设计非常重要,H3C UniServer R4700 G3的散热设计尤为值得一提:

H3C UniServer R4700 G3的导风罩(中央透明塑料质感部分)非常轻巧,但效果显著,其右方就是超强性能的冗余风扇,上四下三中间的空地为板载阵列卡的BBU备份电池单元的固定装置

一般情况下,服务器过热当机是难以接受的,H3C UniServer R4700 G3的7个冗余风扇每个单元还提供了前后冗余:

超强性能的7个冗余散热风扇,真的超强……

  H3C UniServer R4700 G3提供的高效系统散热设计首先依赖于大量的传感器:

H3C将其称为"温度海洋",来源于HPE的“Sea of Sensors”,足够多的传感器可以充分地监测到每一个角落

H3C的温度海洋技术可以用3D方式显示服务器内部温度——其高度就代表温度的高低,在这里我可以提前告诉大家,在这好一段的评测使用当中, 我们看到温度最高的不是CPU,不是内存,不是阵列卡,是BMC远程控制芯片(没人管真可怜)。

一共20个档位,一般的使用中笔者将其设为最静音的1档,这里设为20档演示一下

……效果显著,23100RPM的转速让人觉得住在了飞机场旁边

当然最高档位一般来说没什么必要,H3C通过温度检测,根据负载实行智能PID调速实时调整散热策略,一般来说,设为2档已经可以提供足够的散热能力:

H3C UniServer R4700 G3当中每个散热风扇对应每个温度感应器都有独立的权重,并且精细到每10%为一档,在低负荷时,散热系统的噪声和功耗都非常低。整个系统可以达到很高的散热效率。

前面我们说过,新华三H3C UniServer R4700 G3可以最高支持至TDP 205W的Xeon SP Platium 8180M,双路配置下最多可以提供56个硬件核心和112个硬件线程,最多3.0TiB DDR4-2666内存支持能力,我们可以看到一共具有24个DDR4 DIMM,合12个内存通道:

中央即为处理器与内存区域,来源:H3C

我们收到的机器搭配的是12条SK. Hynix的16GiB DDR4-2666内存;银白色散热器下方就是CPU

需要特别指出的是,由于散热能力的差别,不是所有的1U服务器都能支持最顶级的处理器以及最大容量的内存,H3C R4700 G3可以支持Xeon Platium 8180M和128GiB单条的LR DIMM,这是一些其他1U服务器所不具备的。

在扩展性上,H3C R4700 G3也有其特别之处:

后视图

H3C R4700 G3提供了两个全高全长(FHFL)的PCIe 3.0 x16插槽,除了可以连接高速IO设备之外,它还能支持企业级的GPU:

H3C R4700 G3的PCIe Riser上具有一个8PIN的PCIe电源插座,猜测其为输出电能到GPU加速卡

EPP 8PIN PCIe电源提供的功率为可达150W,在这里似乎有些大材小用,因为H3C谦逊地标注R4700 G3支持最大功率120W的GPU加速卡,目前可以选择的型号有NVIDIA的M4和M4000。很多1U机架服务器并不能支持企业级GPU,或者说,功耗比较高的GPU。

除了两个自由的PCIe x16扩展槽之外,前面介绍过R4700 G3还提供了一个专用于板载阵列卡的PCIe x8界面,至于网络,R4700 G3和其他的服务器有些不太一样:

蓝色表示这个可以安全免工具维护操作,意味着这个4口RJ45网络接口单元是可以拆卸的

首先特别的一点是,R4700 G3的板载网络可以非常方便地进行更换和重新配置,它采用了一种很少见的子卡设计:

不知道原名的我们将其称为网卡笼,大量的空间以及孔洞可以提供充足的散热能力

这个网络子卡+网卡笼的设计不仅仅可以免工具维护——它还是服务器免抽取的,只要在后面板拧螺丝就可以了。

带有多针接插件和金属定位杆孔位的网络接口子卡

第二点特别的地方在于,这个部件是可以带电热插拔的,我不清楚是否很多人都清楚这一点,但按照网卡芯片的设计,它是具有这个特性的。

Marvell 88E1543芯片,这其实只是一个不太重要的四口1Gb以太网PHY芯片……

第三点特别之处在于,这个网络子卡实际上只是一个PHY芯片,网卡实际上是包含在主板的Intel PCH芯片上,学名Intel Ethernet Connection X722,它其实是一块基于Intel X710独立40Gb以太网卡改良的片内网卡,具有相似的规格和一致的驱动:

BIOS里显示为四个Intel Ehternet Connection X722 for 1GbE,这是因为插入的是四口RJ45 1Gb模块

这个网卡具有多种接口配置,H3C目前提供的有三种:四口千兆铜口、双口万兆光口、双口万兆电口。原则上,系统可以支持最多四口万兆。通过切换不同的模块,系统就可以方便地实现不同的接口形式和传输速率。

空空的网卡笼

最后是两点R4700网络配置的特质:一点是这个网卡通过专用的PCIe界面与CPU直连,而不是与以前的板载网卡一样连载延迟更高的PCH芯片组上,另一点是这个新网卡可以支持iWARP(Internet Wide Area RDMA Protocol) RDMA功能,提供了一种极为快速的互联能力,并且不管使用什么样的接口子卡都具备。遗憾的是,本次我们不对其进行测试。关于H3C R4700 G3的内部设计我们就介绍到这里,下面我们将开始介绍我们进行的测试。

SPEC CPU是一个应用广泛的大型CPU性能测试项目,SPEC是标准性能评估公司(Standard Performance Evaluation Corporation)的简称,这是一个由计算机厂商、系统集成商、大学、研究机构、咨询等多家公司组成的非营利性组织,这个组织的目标是建立、维护一套用于评估计算机系统的标准。除了SPEC CPU之外,SPECviewperf系列产品也是常见的测试工作站/图形卡部件所用到的测试软件,类似的项目还有如SPECjbb 2015(Java应用性能)、SPEC SFS2015(文件服务器性能)等。

SPEC CPU是SPEC组织推出的一套CPU子系统评估软件,目前最新版本是SPEC CPU2017,于2017年6月20日发布,不错相关测试还在准备之中,本次测试中我们使用的仍然是SPEC CPU2006。SPEC CPU2006包括CINT2006和CFP2006两个子项目,分别用于测量整数性能和浮点性能。SPEC CPU的测试组件均来源于真实的应用程序,并经过修改以降低对IO子系统的影响,在测试中,测试系统的处理器、内存子系统和使用到的编译器(SPEC CPU测试提供的是源代码,并且允许测试用户按照规则进行一定的编译优化)都会影响最终的测试性能,而I/O(磁盘)、网络、操作系统和图形子系统对于SPEC CPU2006的影响非常之小。

SPEC CPU2006包括了12项整数运算和17项浮点运算,除此之外,还有两个随机数产生测试程序998.sperand(整数)和999.specrand(浮点),它们虽然也包含在套件中并得到运行,但是它们并不进行计时以获得得分。这两个测试主要是用来验证一些其他组件中会用到的PRNG随机数生成功能的正确性。各个测试组件基本上由C和Fortran语言编写,有7个测试项目使用了C++语言,而Fortran语言均用来编写浮点部分。SPEC CPU2006以一台Sun Ultra Enterpirse 2工作站作为基准参考系统,系统基于一颗296MHz的UltraSPARC II处理器,测试的得分就表明这个项目中测试系统相对基准系统性能的比值。

SPEC CPU2006测试子项目 by 盘骏/Lucifer

测试使用了当前这一个阶段我们的基准测试配置,包括基于当然仍然算还比较新的Intel C&Fortran Compiler编译器17.0 update 3,以及MicroQuill的SmartHeap 10.2堆管理器。H3C UniServer R4700 G3的处理器支持AVX512,但基于AVX-512代码的测试仍然在进行中。对于Intel Skylake-SP处理器而言,运行不同扩展指令集的代码会和功耗、Turbo Boost具有一个复杂的影响关系。必须得说,这种复杂性对用户来说整体上是更好的,但它也让理解系统的运行状态变得更加麻烦。如下图所示:

Intel Skylake-SP上,Turbo Boost睿频技术具有6个峰值频率,按照负载的不同而不同

实际上具有的频率还更多,因为原有的Turbo Boost睿频技术本身就让系统在不同数量核心负载时具有不同的频率,因此按照non-AVX/AVX2/AVX-512的不同,这个频率表的规模要乘以三倍,在下一页的配置表中,我们给出了被测试服务器的基准频率表,也就是运行非AVX2、AVX-512代码时的频率表这个。在运行AVX-512代码的时候,不管是基频,还是Turbo频率,全线都会有所降低,这有时会带来一些负面影响。

实际上,我们为测试机器试验了两种操作系统:一种是Debian GNU/Linux 9.3.0 Stretch x64,并搭载了其时最新的Linux Kernel 4.14.6-041406-lowlatency #201712140930 x64内核,但它略微有些不太稳定;第二种是SuSE Linux Enterprise Server 12 SP3 x64(简称SLES12 SP3),基于SUSE当时最新的Linux Kernel 4.4.92-6.30-default x64内核,提供了非常稳定的体验,但内核并没有那么新,最终我们发现它们的性能各有千秋。我们给出的是SLES12 SP3下的数据。

H3C UniServer R4700 G3测试平台与测试环境

测试平台基于双路Intel Xeon SP Gold 6142处理器,主频2.6GHz,最高可以Turbo到3.7GHz(但运行AVX2代码的时候会降低一些),Gold 6142核心数量为16,硬件线程32,整台双路机器就具有32个核心和64个线程。Gold 6142提供了3个10.4GT/s的UPI界面,提供了很高的性能,内存方面,H3C UniServer R4700 G3总共提供24个DDR4 DIMM,合12个内存通道,H3C为我们配置了12条16GiB的SK. Hynix R-ECC DDR4-2666内存以最大化内存性能。H3C UniServer R4700 G3搭载的是Intel Lewisburg C622芯片组,不过它和本文测试的计算性能基本上没有关联,同理,存储子系统也没有产生什么影响。但关于它们还有不少值得称道的地方,我们计划在后面的文章中进行介绍。

除了整数运算和浮点运算的差别之外,SPEC CPU2006测试还分两种:SPEED测试和RATE测试,SPEED测试类型运行单个实例,用来测试系统运行单作业的时候的运算能力,RATE测试则是运行多个实例,用来测试系统的总运算吞吐能力。SPEC CPU测试还会给出两种类型的结果:Base基准测试结果和Peak峰值测试结果,Base测试要求编译器套件按照指定的规则进行优化,而Peak测试则可以允许使用更多的优化技术,可以看出,前者可以用来简单对比不同的平台,而后者则在对比因素中加入了编译器等因素,有实力编写编译器的厂商可以从中获益。本页给出的是SPEED测试结果,按照整数到浮点、Base测试到Peak测试排列四个成绩图标,每个图表给出了测试系统及对比系统的每个子项目的成绩。图表图例文字中最后的"2S32C64T"字段指的是2 Sockets、32 Cores、64 Threads,意思是“2插槽32核心64线程”。

时间紧迫,我们没有进行non-AVX的测试以和前数代官方平台进行对比,而是直接进行了已经普及的AVX2测试。对比的平台都是当时的顶级配置,尽管系统和编辑器与现在相比可能有所不如。我们先进行的是SPEED测试,这个测试中系统全力以赴运行一个实例——通常是一个进程,但编译器和操作系统可能会根据情况将其编译为多个线程并分散到多个核心上运行,因此有些项目会看到非常可观的性能表现:

SPECint_base2006,整数,SPEED测试,Base基准测试

SPECint2006,整数,SPEED测试,Peak峰值测试

462.libquantum是一个模拟量子计算的子项目,它极大地依赖于内存性能,因此新的系统比上一代增加了50%的内存通道数量提供了无与伦比的优势。大部分SPEED测试均使用不超过2个CPU核心,因此通常Intel的处理器可以Turbo到最高频率(但运行AVX2代码又会降低一些频率)。在2个核心的情况下,2.6GHz的Skylake-SP/Xeon Gold 6142可以Turbo至3.7GHz(记住运行AVX2代码时又会降低一些频率),而Broadwell-EP/Xeon E5-2699 v4和Haswell-EP/Xeon E5-2699 v3的这个频率都是3.6GHz,Ivy Bridge-EP/Xeon E5-2697 v2则是3.5GHz。

SPECfp_base2006,浮点,SPEED测试,Base基准测试

SPECfp2006,浮点,SPEED测试,Peak峰值测试

我们可以看到,基于Intel Xeon SP Gold 6142的H3C UniServer R4700 G3在单任务上提供了比上一代超出非常多的优势,SPECint_base2006为73.1,SPECfp_base2006为135。即使是考虑老平台也使用AVX2代码,我们以前的测试表明并没有多大的提升。

除了整数运算和浮点运算的差别之外,SPEC CPU2006测试还分两种:SPEED测试和RATE测试,SPEED测试类型运行单个实例,用来测试系统运行单作业的时候的运算能力,RATE测试则是运行多个实例,用来测试系统的总运算吞吐能力。SPEC CPU测试还会给出两种类型的结果:Base基准测试结果和Peak峰值测试结果,Base测试要求编译器套件按照指定的规则进行优化,而Peak测试则可以允许使用更多的优化技术,可以看出,前者可以用来简单对比不同的平台,而后者则在对比因素中加入了编译器等因素,有实力编写编译器的厂商可以从中获益。本页给出的是SPEED测试结果,按照整数到浮点、Base测试到Peak测试排列四个成绩图标,每个图表给出了测试系统及对比系统的每个子项目的成绩。图表图例文字中最后的"2S32C64T"字段指的是2 Sockets、32 Cores、64 Threads,意思是“2插槽32核心64线程”。

SPEED测试关注的是单个任务完成的速度,或说延迟,因此处理器核心的频率而非数量起主要作用;而RATE测试关注的整体的吞吐量,这也是一般服务器应用关注的指标,这时处理器的核心数量就具有了可观的影响。根据Spec,在所有核心满负荷的时候,Ivy Bridge-EP/Intel Xeon E5-2697 v2工作在3.0GHz,Haswell-EP/Intel Xeon E5-2699 v3和Broadwell-EP/Intel Xeon E5-2699 v4都工作在2.8GHz,Skylake-SP/Xeon Gold 6142则工作在3.3GHz,但运行AVX2/AVX-512代码时频率会有所降低,总的来说,Gold 6142的频率并没有太多的优势:

SPECint_rate_base2006,整数,RATE测试,Base基准测试

SPECint_rate2006,整数,RATE测试,Peak峰值测试

SPECfp_rate_base2006,浮点,RATE测试,Base基准测试

SPECfp_rate2006,浮点,RATE测试,Peak峰值测试

基本上,在核心数量处于劣势、运行频率不占优势的情况下,H3C UniServer R4700 G3仍然提供了更为出色的计算性能,SPECint_rate_base2006为1540,SPECfp_rate_base2006为1170。

【至顶网实验室】我们进行了关注计算密集/内存密集应用的SPEC CPU2006测试,在测试当中,H3C UniServer R4700 G3服务器展示了强大的实力,在搭配双路Intel Xeon Scalable Processor Gold 6142时,可以提供比核心数量有明显优势的上一代平台超出不少的计算性能,其中,提升50%的内存通道数量功不可没,它提供了更高的内存带宽,同时DDR4-2666的配置也降低了延迟,同时Intel Xeon Scalable Processor的内部Cache设计也可以让大部分状况下都能提供更低的延迟。我们对H3C UniServer R4700 G3服务器的性能表现非常满意。

H3C UniServer R4700 G3高密度1U机架式服务器

  除了性能之外,获得了reddot award 2017大奖的H3C UniServer R4700 G3服务器在硬件设计上也非常出色,其能源效率、散热设计、包括网络接口在内的IO能力、扩展能力性都非常特别。

H3C UniServer R4700 G3的内部设计很出色

标签: #高密度服务器与机架式服务器区别在哪