基于以往的项目案例和实施经验，我们精心策划并开启了“Geeki说”专栏，用来讲述我们奥工工程师实践故事和技术体会。

超算主流文件系统除了前两篇提到的GPFS和Lustre，还有一匹杀出重围的黑马——BeeGFS。本篇，就让我们来和大家聊一聊BeeGFS有什么与众不同之处吧！

我们奥工小分队的工程师们几乎操作过所有超算领域的并行文件系统，也都做过各种各样的小测试，其中便有一个刚开发问世时并不像Lustre和GPFS那样被大部分超算供应商所接受，却在欧美中小型超算领域意外地备受青睐、不断开疆扩土的并行文件系统，它就是BeeGFS。

关于BeeGFS的“前世今生”很有意思，原本是为了工业数学计算而设计开发的，凭借其轻量级的架构设计和对现在高性能计算中Burst Buffer技术需求的精确把握，在科研和商业领域得到了广泛应用，开始了“进军”超算领域的漫漫征途，并最终成为超算三大主流并行文件系统之一。

我们都知道，BeeGFS既是一个网络文件系统也是一个并行文件系统，其遵循GPL的“免费开源”，无论谁想要使用，都可以下载安装使用。它的优势非常明显，既有很好的兼容性，又支持包括X86/ARM（Intel/AMD x86_64）和OpenPower等硬件平台和一系列Linux操作系统版本，且实现了ObjectData和MetaData的分离，可以面向大型或快速存储的每个人服务。

最后必须要说的当然也是BeeGFS的架构啦！四部分组成了BeeGFS的集群，分别是管理服务（Management Service），元数据服务（Metadata Service），存储服务（Storage Service）和客户（Client Service），具体见下图：

（BeeGFS架构图）

老规矩，先介绍本次测试的环境：

BeeGFS是一个基于Linux的文件系统，BeeGFS所有的部分都在Linux操作系统下运行，到目前为止还不支持其他平台。大家肯定会问：搭建一套 BeeGFS 需要什么？答案是：至少需要管理服务器(MS)、对象存储服务器(OSS)、元数据服务器(MDS)和文件系统 Client 四个主要组件和两个守护进程。

本篇内容的所有测试便基于上述集群完成的，首先要说的是，测试环境中提到的节点Node01/02/03磁盘分区作为storage target，Node05磁盘分区作为metadata storage。

前两篇和大家介绍了GPFS和Lustre的安装过程，其实BeeGFS也有异曲同工之妙，看过前两篇的小伙伴肯定觉得超级简单。

安装第一步对节点进行分配。先对Node01/02/03磁盘进行分区，再设置文件系统xfs；然后对Node05 ssd磁盘进行分区，再设置文件系统ext4。

第二步建立挂载点并挂载。将 Node01/02/03磁盘分区挂载在/mnt 目录下，作为一个storage target；将 Node05 磁盘挂载在/mnt/mds1，作为 metadata storage。

第三步修改/etc/hosts。通过手动编写hosts表，可以加快域名解析、方便局域网用户、屏蔽网站等等，同时ip地址与域名对应，也方便查找和记录。

第四步安装BeeGFS。所有节点下载 CentOS-Base.repo 到/etc/yum.repos.d/,Node06 安装 Management Service，Node05 安装 Metadata Service,Node01/02/03安装Storage Service，Node04安装Client and Command-line Utils。

第五步节点配置。Node06 节点配置Management Service；Node05节点配置Metadata Service；Node01/02/03节点配置Storage Service；Node04 节点配置Client。

第六步启动集群服务。Node06启动Management Service（敲重点：Management需要第一个被启动）；Node05 启动 Metadata Service；Node01/02/03启动Storage service；Node04启动Client（又敲重点：这里需要最后启动client，否则会报错）；启动完毕后监测集群信息，在 client 上查看 metadata / management / storage / client相关信息。

至此，BeeGFS 集群环境搭建完成，我们将目光集中在测试上吧！

测试先要安装相关测试环境，包括Fio安装，Sysbench安装，Filebench安装，咱们一步一步来。

① Fio安装

② Sysbench 安装

③ Filebench 安装

接下来，我们将对BeeGFS性能做个全方面的测试，分别包括读写操作、复制操作、随机读写与顺序读写、文件大小、多进程等对于性能的影响，让我们拭目以待吧，看看这匹杀出重围的“黑马”有什么过人之处！

① 随机读写和顺序读写

②文件大小与块大小读写

③多进程读测试

④多进程写测试

通过本次测试，我们惊奇地发现随着文件大小的增长，吞吐量也在不断增大，但是在达到 1G 大小后增长不再明显，并且顺序读的性能要远高于随机读的方式。另外，块大小对性能有显著影响，在某个值上达到性能最好，本测试环境中块大小64KB时，性能达到最高峰，在别的测试环境中会是另外“某个值”，这个是不固定。在最后的多进程测试中，我们也发现随着进程数的增大，吞吐量不断增加，但在达到16进程后，性能将会不断下降，实在有趣。

另外，通过与前两篇相比，我们发现BeeGFS部署比GPFS和Lustre更简单，集群管理更方便，对底层硬件资源的管理也更高效。当然，除了实用性，其经济性也是超算供应商考虑的因素之一，相对于GPFS高昂的价格，BeeGFS就显得更加可爱了，这些都是BeeGFS与众不同的优势！

看完超算领域的三大主流并行文件系统小测试，是不是感觉他们特别强大！和主流相对的是“非主流”，那么下一篇，让我们来看看非主流并行文件系统是如何在三大地位屹立不倒的情况下，依旧占有部分小市场，得到客户偏爱的！

「奥工科技」

奥工科技作为一家专业的融合计算服务提供商，面向企业级IT客户提供端对端、可资源异构、全生命周期的超算全栈服务，其中包括资源选型、项目规划、实施服务、运维服务、运营支持、定制开发，全栈服务客户超算集群建设需求。

—END—