很多同学对Moosefs分布式存储还不是很了解,今天给大家分享一些Moosefs分布式存储的安装与配置。
首页 > 大数据 > 数据分析 > Moosefs配置安装详细文档
很多同学对Moosefs分布式存储还不是很了解,今天给大家分享一些Moosefs分布式存储的安装与配置。
一、 MooseFS是一款网络分布式文件系统。它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源。
二、MFS也像其他类unix文件系统一样,包含了层级结构(目录树),存储着文件属性(权限,最后访问和修改时间),可以创建特殊的文件(块设备,字符设备,管道,套接字),符号链接,硬链接。
三、MooseFS简介
MooseFS正式的推出是在2008-05-30,到2012-08-16为止,最新的版本是1.6.26 。
mooseFS是一款网络分布式文件系统。它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源。MFS也像其他类unix文件系统一样,包含了层级结构(目录树),存储着文件属性(权限,最后访问和修改时间),可以创建特殊的文件(块设备,字符设备,管道,套接字),符号链接,硬链接。
mooseFS系统的组成
1. master(元数据服务器)
master负责在整个系统中管理数据。是整个系统的维护者。但是它有个弱点就是master只有一个!也就是说如果master坏掉,整个系统将停止工作!不过这算不上致命弱点,因为我们做好数据备份以后,恢复master是很简单的事。
2.chunkserver(数据存储服务器)
chunkserver是mfs系统中的数据存储者。真正的用户数据按照算法被分成chunk,并分发到各个chunkserver上。这样就保证了数据的安全性。
3.client
凡是使用mfs文件系统的机器都可以被称为client。client是mfs系统的使用者。当client把mfs文件系统挂载到本机以后,它可以像使用一个普通的磁盘分区一样,来使用mfs。
试验环境
试验中所需要的服务器以及服务器操作系统和IP介绍
服务器名称 操作系统 服务器IP 备注
master-10---------- Linux-server-5.5-x86_64-----------192.168.100.10
chunk-11----------- Linux-server-5.5-x86_64-----------192.168.100.11
chunk-12----------- Linux-server-5.5-x86_64-----------192.168.100.12
client13-------------Linux-server-5.5-x86_64-----------192.168.100.13
注意:
chunkserver1-4 均添加了一块虚拟的磁盘sda(空间设置在约20G),Linux系统正常安装(如/boot分区、/分区、swap分区)分够系统是的分区后,剩余的分区划分为一个单独的分区 如:/data分区,为以后MFS客户端使用。
拓扑图
四、详细安装步骤
1、主控服务器 Master server 安装
主机名:master-10 IP:192.168.100.10
(1)yum -y install gcc zlib-devel zlib fuse fuse-devel fuse-libs ntp
(2)useradd mfs
echo "123" | passwd --stdin mfs
(3)官网下载moosefs安装文件
(4)tar zxvf mfs-1.6.20-2.tar.gz
cd mfs-1.6.20-2
(5)./configure --prefix=/usr/local/mfs --with-default-user=mfs
--with-default-group=mfs --disable-mfschunkserver --disable-mfsmount
make
make install
(6)cd /usr/local/mfs/etc
cp mfsmaster.cfg.dist mfsmaster.cfg
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
cp mfsexports.cfg.dist mfsexports.cfg
(7)cd /usr/local/mfs/var/mfs
cp metadata.mfs.empty metadata.mfs
(8)vi /ect/hosts
192.168.100.10 master-10
192.168.100.11 chunk-11
192.168.100.12 chunk-12
(9)iptables 开启端口:9419 9420 9421 9425
lokkit --port=9419:tcp -q
service iptables restart
(10)启动 master
/usr/local/mfs/sbin/mfsmaster start
(11)浏览器监控 master
192.168.100.10:9425
2、存储块服务器Chunk servers 安装
主机名:chunk-11 IP:192.168.100.11
(1)yum -y install gcc zlib-devel zlib fuse fuse-devel fuse-libs ntp
(2)useradd mfs
echo "123" | passwd --stdin mfs
(3)官网下载moosefs安装文件
(4)tar zxvf mfs-1.6.20-2.tar.gz
cd mfs-1.6.20-2
(5)./configure --prefix=/usr/local/mfs --with-default-user=mfs
--with-default-group=mfs --disable-mfschunkserver --disable-mfsmount
make
make install
(6)进入cd /usr/local/mfs/etc
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg
(7)进入vi /usr/local/mfs/etc/mfshdd.cfg
添加/data
(8)给 /data/的目录 增加 mfs用户 权限
chown -R mfs:mfs /data/
(9)vi /ect/hosts
192.168.100.10 master-10
192.168.100.11 chunk-11
(10)iptables 开启端口:9422
lokkit --port=9422:tcp -q
service iptables restart
(11)启动 chunk server:
/usr/local/mfs/sbin/mfschunkserver start
3、存储块服务器Chunk servers 安装
主机名:chunk-12 IP:192.168.100.12
(1)yum -y install gcc zlib-devel zlib fuse fuse-devel fuse-libs ntp
(2)useradd mfs
echo "123" | passwd --stdin mfs
(3)官网下载moosefs安装文件
(4)tar zxvf mfs-1.6.20-2.tar.gz
cd mfs-1.6.20-2
(5)./configure --prefix=/usr/local/mfs --with-default-user=mfs
--with-default-group=mfs --disable-mfschunkserver --disable-mfsmount
make
make install
(6)进入cd /usr/local/mfs/etc
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg
(7)进入vi /usr/local/mfs/etc/mfshdd.cfg
添加/data
(8)给 /data/的目录 增加 mfs用户 权限
chown -R mfs:mfs /data/
(9)vi /ect/hosts
192.168.100.10 master-10
192.168.100.12 chunk-12
(10)iptables 开启端口:9422
lokkit --port=9422:tcp -q
service iptables restart
(11)启动 chunk server:
/usr/local/mfs/sbin/mfschunkserver start
4、客户端安装
主机名:client -13 IP:192.168.100.13
(1)yum -y install gcc zlib-devel zlib fuse fuse-devel fuse-libs ntp
(2)useradd mfs
echo "123" | passwd --stdin mfs
(3)官网下载moosefs安装文件
(4)tar zxvf mfs-1.6.20-2.tar.gz
cd mfs-1.6.20-2
(5)./configure --prefix=/usr/local/mfs --with-default-user=mfs
--with-default-group=mfs --disable-mfschunkserver --disable-mfsmount
make
make install
(6)假定客户端的挂接点是 /data1
创建挂接点 mkdir -p /data1
(7)/usr/local/mfs/bin/mfsmount /data1 -H 192.168.100.10
(8)执行 df -h 检查分区情况
df -h
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/298091/viewspace-1113106/ ,如需转载,请注明出处,否则将追究法律责任。