ITPub博客

首页 > 大数据 > 数据分析 > Moosefs配置安装详细文档

Moosefs配置安装详细文档

数据分析 作者:rockliluo 时间:2013-02-06 12:01:00 0 删除 编辑

很多同学对Moosefs分布式存储还不是很了解,今天给大家分享一些Moosefs分布式存储的安装与配置。

方法/步骤

  1. 1

    一、 MooseFS是一款网络分布式文件系统。它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源。

  2. 2

    二、MFS也像其他类unix文件系统一样,包含了层级结构(目录树),存储着文件属性(权限,最后访问和修改时间),可以创建特殊的文件(块设备,字符设备,管道,套接字),符号链接,硬链接。

  3. 3

    三、MooseFS简介
    MooseFS正式的推出是在2008-05-30,到2012-08-16为止,最新的版本是1.6.26 。
    mooseFS是一款网络分布式文件系统。它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源。MFS也像其他类unix文件系统一样,包含了层级结构(目录树),存储着文件属性(权限,最后访问和修改时间),可以创建特殊的文件(块设备,字符设备,管道,套接字),符号链接,硬链接。
    mooseFS系统的组成
    1. master(元数据服务器)
    master负责在整个系统中管理数据。是整个系统的维护者。但是它有个弱点就是master只有一个!也就是说如果master坏掉,整个系统将停止工作!不过这算不上致命弱点,因为我们做好数据备份以后,恢复master是很简单的事。
    2.chunkserver(数据存储服务器)
    chunkserver是mfs系统中的数据存储者。真正的用户数据按照算法被分成chunk,并分发到各个chunkserver上。这样就保证了数据的安全性。
    3.client
    凡是使用mfs文件系统的机器都可以被称为client。client是mfs系统的使用者。当client把mfs文件系统挂载到本机以后,它可以像使用一个普通的磁盘分区一样,来使用mfs。
    试验环境
    试验中所需要的服务器以及服务器操作系统和IP介绍
    服务器名称 操作系统 服务器IP 备注
    master-10---------- Linux-server-5.5-x86_64-----------192.168.100.10
    chunk-11----------- Linux-server-5.5-x86_64-----------192.168.100.11
    chunk-12----------- Linux-server-5.5-x86_64-----------192.168.100.12
    client13-------------Linux-server-5.5-x86_64-----------192.168.100.13
    注意:
    chunkserver1-4 均添加了一块虚拟的磁盘sda(空间设置在约20G),Linux系统正常安装(如/boot分区、/分区、swap分区)分够系统是的分区后,剩余的分区划分为一个单独的分区 如:/data分区,为以后MFS客户端使用。
    拓扑图


  4. 4

    四、详细安装步骤
    1、主控服务器 Master server 安装
    主机名:master-10 IP:192.168.100.10
    (1)yum -y install gcc zlib-devel zlib fuse fuse-devel fuse-libs ntp
    (2)useradd mfs
    echo "123" | passwd --stdin mfs
    (3)官网下载moosefs安装文件
    (4)tar zxvf mfs-1.6.20-2.tar.gz
    cd mfs-1.6.20-2
    (5)./configure --prefix=/usr/local/mfs --with-default-user=mfs
    --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount
    make
    make install
    (6)cd /usr/local/mfs/etc
    cp mfsmaster.cfg.dist mfsmaster.cfg
    cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
    cp mfsexports.cfg.dist mfsexports.cfg
    (7)cd /usr/local/mfs/var/mfs
    cp metadata.mfs.empty metadata.mfs
    (8)vi /ect/hosts
    192.168.100.10 master-10
    192.168.100.11 chunk-11
    192.168.100.12 chunk-12
    (9)iptables 开启端口:9419 9420 9421 9425
    lokkit --port=9419:tcp -q
    service iptables restart
    (10)启动 master
    /usr/local/mfs/sbin/mfsmaster start
    (11)浏览器监控 master
    192.168.100.10:9425
    2、存储块服务器Chunk servers 安装
    主机名:chunk-11 IP:192.168.100.11
    (1)yum -y install gcc zlib-devel zlib fuse fuse-devel fuse-libs ntp
    (2)useradd mfs
    echo "123" | passwd --stdin mfs
    (3)官网下载moosefs安装文件
    (4)tar zxvf mfs-1.6.20-2.tar.gz
    cd mfs-1.6.20-2
    (5)./configure --prefix=/usr/local/mfs --with-default-user=mfs
    --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount
    make
    make install
    (6)进入cd /usr/local/mfs/etc
    cp mfschunkserver.cfg.dist mfschunkserver.cfg
    cp mfshdd.cfg.dist mfshdd.cfg
    (7)进入vi /usr/local/mfs/etc/mfshdd.cfg
    添加/data
    (8)给 /data/的目录 增加 mfs用户 权限
    chown -R mfs:mfs /data/
    (9)vi /ect/hosts
    192.168.100.10 master-10
    192.168.100.11 chunk-11
    (10)iptables 开启端口:9422
    lokkit --port=9422:tcp -q
    service iptables restart
    (11)启动 chunk server:
    /usr/local/mfs/sbin/mfschunkserver start
    3、存储块服务器Chunk servers 安装
    主机名:chunk-12 IP:192.168.100.12
    (1)yum -y install gcc zlib-devel zlib fuse fuse-devel fuse-libs ntp
    (2)useradd mfs
    echo "123" | passwd --stdin mfs
    (3)官网下载moosefs安装文件
    (4)tar zxvf mfs-1.6.20-2.tar.gz
    cd mfs-1.6.20-2
    (5)./configure --prefix=/usr/local/mfs --with-default-user=mfs
    --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount
    make
    make install
    (6)进入cd /usr/local/mfs/etc
    cp mfschunkserver.cfg.dist mfschunkserver.cfg
    cp mfshdd.cfg.dist mfshdd.cfg
    (7)进入vi /usr/local/mfs/etc/mfshdd.cfg
    添加/data
    (8)给 /data/的目录 增加 mfs用户 权限
    chown -R mfs:mfs /data/
    (9)vi /ect/hosts
    192.168.100.10 master-10
    192.168.100.12 chunk-12
    (10)iptables 开启端口:9422
    lokkit --port=9422:tcp -q
    service iptables restart
    (11)启动 chunk server:
    /usr/local/mfs/sbin/mfschunkserver start
    4、客户端安装
    主机名:client -13 IP:192.168.100.13
    (1)yum -y install gcc zlib-devel zlib fuse fuse-devel fuse-libs ntp
    (2)useradd mfs
    echo "123" | passwd --stdin mfs
    (3)官网下载moosefs安装文件
    (4)tar zxvf mfs-1.6.20-2.tar.gz
    cd mfs-1.6.20-2
    (5)./configure --prefix=/usr/local/mfs --with-default-user=mfs
    --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount
    make
    make install
    (6)假定客户端的挂接点是 /data1
    创建挂接点 mkdir -p /data1
    (7)/usr/local/mfs/bin/mfsmount /data1 -H 192.168.100.10
    (8)执行 df -h 检查分区情况
    df -h

    END

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/298091/viewspace-1113106/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2008-12-01