yum工具自动部署集群¶

可以使用yum工具在CentOS 7+操作系统中快速部署和启动ChubaoFS集群. 该工具的rpm依赖项可通过以下命令安装:

$ yum install http://storage.jd.com/chubaofsrpm/latest/cfs-install-latest-el7.x86_64.rpm
$ cd /cfs/install
$ tree -L 3
 .
 ├── install_cfs.yml
 ├── install.sh
 ├── iplist
 ├── src
 └── template
     ├── client.json.j2
     ├── console.json.j2
     ├── create_vol.sh.j2
     ├── datanode.json.j2
     ├── grafana
     │   ├── grafana.ini
     │   ├── init.sh
     │   └── provisioning
     ├── master.json.j2
     ├── metanode.json.j2
     └── objectnode.json.j2

可根据实际环境，在 iplist 文件中修改ChubaoFS集群的参数.

[master] , [datanode] , [metanode] , [objectnode], [console], [monitor] , [client] 包含了每个模块的成员IP地址。
[cfs:vars] 模块定义了所有节点的ssh登陆信息，需要事先将集群中所有节点的登录名和密码进行统一。
#master config 模块定义了每个Master节点的启动参数。

参数	类型	描述	是否必需
master_clusterName	字符串	集群名字	是
master_listen	字符串	http服务监听的端口号	是
master_prof	字符串	golang pprof 端口号	是
master_logDir	字符串	日志文件存储目录	是
master_logLevel	字符串	日志级别, 默认为 info	否
master_retainLogs	字符串	保留多少条raft日志	是
master_walDir	字符串	raft wal日志存储目录	是
master_storeDir	字符串	RocksDB数据存储目录.此目录必须存在，如果目录不存在，无法启动服务	是
master_exporterPort	整型	prometheus获取监控数据端口	否
master_metaNodeReservedMem	字符串	元数据节点预留内存大小，如果剩余内存小于该值，MetaNode变为只读。单位：字节，默认值：1073741824	否

#datanode config 模块定义了每个DataNode的启动参数。

参数	类型	描述	是否必需
datanode_listen	字符串	数据节点作为服务端启动TCP监听的端口	是
datanode_prof	字符串	数据节点提供HTTP接口所用的端口	是
datanode_logDir	字符串	日志存放的路径	是
datanode_logLevel	字符串	日志的级别。默认是 info	否
datanode_raftHeartbeat	字符串	RAFT发送节点间心跳消息所用的端口	是
datanode_raftReplica	字符串	RAFT发送日志消息所用的端口	是
datanode_raftDir	字符串	RAFT调测日志存放的路径。默认在二进制文件启动路径	否
datanode_exporterPort	字符串	监控系统采集的端口	否
datanode_disks	字符串数组	格式: PATH:RETAIN. PATH: 磁盘挂载路径. RETAIN: 该路径下的最小预留空间，剩余空间小于该值即认为磁盘已满，单位：字节。（建议值：20G~50G)	是

#metanode config 模块定义了MetaNode的启动参数。

参数	类型	描述	是否必需
metanode_listen	字符串	监听和接受请求的端口	是
metanode_prof	字符串	调试和管理员API接口	是
metanode_logLevel	字符串	日志级别，默认: info	否
metanode_metadataDir	字符串	元数据快照存储目录	是
metanode_logDir	字符串	日志存储目录	是
metanode_raftDir	字符串	raft wal日志目录	是
metanode_raftHeartbeatPort	字符串	raft心跳通信端口	是
metanode_raftReplicaPort	字符串	raft数据传输端口	是
metanode_exporterPort	字符串	prometheus获取监控数据端口	否
metanode_totalMem	字符串	最大可用内存，此值需高于master配置中metaNodeReservedMem的值，单位：字节	是

#objectnode config 模块定义了ObjectNode的启动参数。

参数	类型	描述	是否必需
objectnode_listen	字符串	http服务监听的IP地址和端口号	是
objectnode_domains	字符串数组	为S3兼容接口配置域名以支持DNS风格访问资源格式: `DOMAIN`	否
objectnode_logDir	字符串	日志存放路径	是
objectnode_logLevel	字符串	日志级别. 默认: `error`	否
objectnode_exporterPort	字符串	prometheus获取监控数据端口	No
objectnode_enableHTTPS	字符串	是否支持 HTTPS协议	Yes

#console config 模块定义了Console控制台的启动参数。

参数	类型	描述	是否必需
console_logDir	字符串	日志存放路径	是
console_logLevel	字符串	日志级别. 默认 info	否
console_listen	字符串	控制台服务端口，默认 80	是

#client config 模块定义了fuse客户端的启动参数

参数	类型	描述	是否必需
client_mountPoint	字符串	挂载点	是
client_volName	字符串	卷名称	否
client_owner	字符串	卷所有者	是
client_SizeGB	字符串	如果卷不存在，则会创建一个该大小的卷，单位：GB	否
client_logDir	字符串	日志存放路径	是
client_logLevel	字符串	日志级别：debug, info, warn, error，默认 info	否
client_exporterPort	字符串	prometheus获取监控数据端口	是
client_profPort	字符串	golang pprof调试端口	否

[master]
10.196.59.198
10.196.59.199
10.196.59.200
[datanode]
...
[cfs:vars]
ansible_ssh_port=22
ansible_ssh_user=root
ansible_ssh_pass="password"
...
#master config
...
#datanode config
...
datanode_disks =  '"/data0:10737418240","/data1:10737418240"'
...
#metanode config
...
metanode_totalMem = "28589934592"
...
#objectnode config
...
#console config
...

更多配置介绍请参考资源管理节点; 元数据节点; 数据节点; 对象存储(ObjectNode); 客户端; 性能监控; Console. 。

用 install.sh 脚本启动ChubaoFS集群，并确保首先启动Master。

$ bash install.sh -h
Usage: install.sh -r | --role [datanode | metanode | master | objectnode | console | monitor | client | all | createvol ]
$ bash install.sh -r master
$ bash install.sh -r metanode
$ bash install.sh -r datanode
$ bash install.sh -r objectnode
$ bash install.sh -r console
$ bash install.sh -r monitor
$ bash install.sh -r client

全部角色启动后，可以登录到 client 角色所在节点验证挂载点 /cfs/mountpoint 是否已经挂载ChubaoFS文件系统。

在浏览器中打开链接http://consul.prometheus-cfs.local 查看监控系统(监控系统的IP地址已在 iplist 文件的 [monitor] 模块定义).