前言:
眼前咱们对“ubuntu中存储池”大约比较关怀,我们都想要了解一些“ubuntu中存储池”的相关文章。那么小编也在网上收集了一些有关“ubuntu中存储池””的相关文章,希望朋友们能喜欢,小伙伴们一起来学习一下吧!近日,XSKY星辰天合宣布发布 XGFS 5.2.100 版本,该版本有多项功能和性能突破,主要包括NFS协议通路性能更高、原生HDFS协议网关更稳定、易用性更强。
XGFS(XSKY Global File System)是 XSKY星辰天合提供的新一代分布式文件存储系统。
XGFS 基于灵活的 SDS 架构, 可提供 POSIX、NFS、SMB/CIFS、FTP 等丰富的文件服务,不仅可以用于企业的文件共享,备份归档通用场景, 也可以应用于视频监控、媒资管理、高性能计算等高性能、大带宽、大容量的场景。
在 XGFS 5.2.100 版本更新中:
性能方面:优化了在NFS协议通路的性能,单客户端 4KB 读相较原来可达175%,单客户端 4KB 写则高达173.8%;提升了高性能缓存的规格,相同容量可以缓存的文件数提升 40% 以上;对高性能客户端的稳定性做了提升,用户可以通过高性能并行客户端享受更加极致的读写性能;
可用性方面:提供了更加稳定的HDFS 协议网关,并进一步增强多网关并发读写能力;
易用性方面:优化了资源占用等的界面统计信息。
让我们一起来看看,最新发布的 5.2.100 版本中,XGFS 带来的这些变化的细节!
NFS 协议通路性能提升
NFS 协议是主要应用于 Linux,UNIX, Mac OS 和 VMware 操作系统环境的文件共享协议。
XGFS 分布式文件系统自研的 NFS 协议网关,支持全功能的 NFSv3 协议:
支持客户端(IP或网段)、客户端组权限限制
支持连接客户端统计
基于多网关多活架构, NFS 协议网关的处理性能表现优越。通过在 5.2.100 版本中的软件版本更新优化了 XPG(XGFS Performance Gateway,高性能文件网关服务),NFS协议通路的性能又达新高:
同样环境,5.2.100 版本 4K 读写性能和 1M 读性能都比之前版本有较大提升,4k读相较原来可达175%,4k写则高达173.8%!
高性能缓存 XCache 规格提升
XClient Cache 是 XGFS 在网关或客户端中提供数据缓存能力的模块,简称 XCache同时提供文件数据的读缓存能力和元数据的读缓存能力。
通过 XCache 数据读缓存,可以大大提高数据读性能。而 XCache 的目录预取引擎,对小文件读场景可以成倍提高性能!此外,XCache 的元数据预读管理,还增加了对元数据的读能力,对数据密集型应用带来极致性能。
在 5.2.100 版本中,XSKY 带来了大规格的 XCache:
在相同缓存内存大小,可以缓存的文件数提升 40% 以上用户可以手动指定内存占用,不设上限
界面统计信息优化
在 5.2.100 版本中,XGFS 还优化了细粒度的文件系统信息统计显示,可以使用多种命令查看不同类型的实时与总量的 OPS(每秒可响应的并发请求数)统计信息、XCache 命中(命中率)和占用资源统计。
XGFS 对统计信息的实时与动态查询显示都进行了进一步的优化,实时统计可以自动更新,将 OP(请求) 统计信息的粒度进一步细化,可以分为业务 OP 、内部 OP,以及各 OP 单独的统计;内存和存储资源的统计也进行了进一步优化,可以细分查看元数据以及多种资源库的内存和资源量占用情况。
在 5.2.100 版本,用户可以更清晰的了解存储实时的工作情况,灵活分配资源与调整使用,星辰天合秉持数据常青之理念,为 XGFS 的易用性做出了跨越式提升。
多网关并发读写能力增强
在 Windows 和渲染场景中,需要使用多网关对同一命名空间内的相同文件进行读写访问。多网关访问依赖文件锁进行控制,文件锁是用于解决资源的共享使用的一种机制:当多个用户需要共享一个文件时,通常采用的方法是给文件上锁,来避免共享的资源产生竞争的状态。
在 5.2.100 版本中,XGFS 实现了多网关访问同一个文件的权限控制,使得多网关并发读写能力得到进一步扩展提升。
XGFS 配合 Windows 和渲染应用添加全局文件锁(建议锁,非强制锁,需要应用配合),多个客户端写入时,将会由应用加锁,此时文件锁生效,保护不被多应用同时读写。
XGFS 满足了应用在计算端加锁操作,达到大量计算节点同时在不同文件网关进行渲染操作。突破单节点渲染瓶颈,实现增加节点性能线性增长。
高性能并行客户端XPC 稳定性提升
在 5.2.100 版本中,XGFS 在计算节点的对高性能并行客户端(XPC)稳定性做了进一步优化提升,支持常见的Centos7.6、Ubuntu18/20 等诸多 Linux 系统(兼容 3.10、4.18 内核),也可以按其他操作系统定制。
XPC 可以提供标准 POSIX 语义,使用私有协议直接和存储集群通讯,由集群中所有存储节点同时提供服务。所有 XPC 支持同时开启其他协议访问(NFS、SMB、HDFS)并实现数据无损互通,并且 XPC 客户端所使用的文件目录,和其他协议一样支持基于目录的所有高级功能,如配额、快照、WORM 等。
XPC 客户端可以实现在大文件模型下读写带宽和 IOPS 均达到存储池性能上限,且单客户端的大文件读写带宽可达 5GB/s。在小文件模型下的读写 OPS 性能超过 10 万 OPS/s,相比 NFS 协议通路提升近 50%。通过使用 XPC 高性能并行客户端,能够提供相比更高的并发读写性能优势,可以极大的提升同样环境的作业计算效率,从而加快业务进展。
原生 HDFS 协议网关稳定性提升
HDFS 分布式文件系统是 Hadoop 中的的存储组件。
XGFS 产品在 5.2.100 版本中已实现原生 HDFS 协议,可以通过 XGFS 原生的 HDFS 协议网关,提供大数据存算分离解决方案中的文件存储服务。
此外,XGFS 目前已支持 NFS、SMB/CIFS、POSIX、FTP、HDFS、S3 等协议之间互通,也就是一份文件既可以通过原生 HDFS 接口访问,又可以使用其他文件协议接口访问。大数据服务所使用的文件目录,支持同时设置高级功能:快照、WORM、配额等,支持同时开启其他协议访问(NFS、SMB、FTP 等) 并实现数据无损互通。
利用 XGFS 的 HDFS 原生协议和多协议互通能力,可以面向下一代数据分析需求构建 “采集-清洗-分析基于一个数据集” 的全新工作流。
在大数据场景下提供 HDFS 大数据存储服务,无需在计算节点上安装额外插件或客户端软件包,只需简单改一条配置即可使用。大数据服务支持对外提供 HDFS 常用的命令字接口,并支持对接 HBase、YARN、Spark、Hive、MR 等常见的应用组件。
小结
XGFS V5.2.100 版本,性能与易用性进一步加强,同时 XPC(POSIX)客户端和 HDFS 协议网关的稳定性大大提升,完善了 XGFS 对大数据和人工智能等高性能数据分析生态的支持。
END
标签: #ubuntu中存储池