新一代分布式文件系统XGFS解密——多合同顾客端XClient
2020年11月·XSKY
随着5G、AI、云多种技术的快速普及,全行业的数字化变革正在火爆进行中。数据作为一种新的资产越来越被注重,数据量也在急剧下降,XSKYXGFS新一代分布式文件系统除了容量大、而且性能好,其中有一个核心的组件发挥了关键的作用,这就是面向各行业中不同场景,高适应性的多合同顾客端XClient。
首先linux命令详解词典,我们先介绍XGFS的XClient。
XGFS的秘密装备:XClient
多样性的场景和需求,XGFS都可以通过XClient来满足。XClient是XGFS区别于业界分布式文件的主要特点之一。
XClient对上,承载多场景多合同的非结构化访问需求:
XClient对下,联接元数据集群和多个数据资源池:
下边对各类需求和场景展开剖析,看XClient是怎样解决的。
数据生产环节中的多类型文件合同需求
在应用和操作系统的发展历程中,对于文件类型的海量数据,渐渐产生了如下的NAS访问合同标准:
XGFSXClient除了支持SMB/CIFS、NFS、FTP三类文件访问合同,并且支持建立的用户认证方法,还具备多合同共享、子目录共享等功能。
大数据生态快速变迁:估算云化,存算分离
随着生产数据的快速下降与积累,越来越多的企业和机构使用Hadoop作为海量数据剖析和清洗的解决方案linux 分布式文件系统linux运维面试题,企业内逐渐产生了如下的Hadoop布署构架,这样的构架带来了资源借助率低、分析效率低、数据孤岛等问题。
XGFSXClient支持完备的HDFS合同,除了支持全新布署的存算分离构架:Hadoop+XGFS,还可与已有HDFS共存布署:Hadoop+(HDFS/XGFS)。
XSKY块储存也可作为Hadoop各种组件:Spark、Flink、Impala云化布署(虚拟化或容器)时的储存托架。
HPC与AI剖析的融合
XGFSXClient可以支持标准文件合同和10Gb/25Gb/50Gb/100Gb高速网路,以满足HPC和AI场景需求。
XGFS能够支持Linux私有顾客端以急剧减少文件合同开支,支持RDMA100Gb网路互联,因而应对更高要求的分布式AI训练、自动驾驶、基因测序、GIS大数据等场景。
建立云原生估算平台
XGFSXClient使用标准的CSI插口对接各主要的容器平台:Openshift、Rancher等,XGFS除了为各种有状态服务带来极至的IO性能linux 分布式文件系统,并且面向海量应用场景实现了管理流水线优化:1分钟内可完成100pod创建。
最后,我们来总结一下XClient的优势。
多合同顾客端XClient的优势与价值
XSKY的XClient具有诸多的优势:
1、完善的多合同支持:SMB/NFS/FTP/POSIX/CSI/HDFS,满足不同应用的储存需求。
2、超高性能和超低延后:原生支持RDMA等高速网路,软件栈面向远程调用深度优化。
3、部署灵活:既可以直接布署在主机侧使用POSIX直联访问,也可以布署在储存侧作为标准文件合同网段。
4、优异的操作系统兼容性:除了完备支持各发行版CentOS、EulerOS,还支持KylinOS等国产操作系统。
5、支持HPC并行文件系统:当XClient布署在HPC主机侧时,可以同时和多个储存节点进行并行IO交互。
XClient的奇特价值:
XClient是在软件定义储存背景下,针对下一代分布式文件系统新兴的应用需求,面向异构化、高性能介质、大规模化的文件顾客端设计并实现,它面向各行业多场景中的海量数据储存需求,一套储存同时满足多类型非结构化数据储存需求,一份数据可通过不同合同提供访问。
IT领导者可基于XGFS建立下一代的工作流:
1、海量业务数据的生产与统一储存
2、基于存算分离的Hadoop平台实现数据清洗
3、使用HPC/AI融合工具链执行高效的数据剖析