随着文件数据越来越多，通过 Tomcat 或 Nginx 上的动静态资源文件在单一的服务节点中是存不下的
如果使用多节点来存储的话这会大大增加我们的运维成本，不利于管理和维护
所以我们需要一个解决方案，能够通过一个系统来管理多个节点上的文件数据，分布式文件系统应运而生
特点：
分布式文件系统允许文件通过网络存储在多台节点上，多台存储节点组成一个整体，为更多用户提供文件分享和存储空间等功能
虽然是一个分布式文件系统，但对用户是透明的，用户在使用的时候就像在访问本地文件系统一样
分布式分布式，那说明肯定不止一个节点，所以分布式文件系统可以提供冗余备份，容错能力很高，就算系统中有节点宕机，整体还是能够对外提供服务的
除此之外，分布式文件系统还可以实现负载均衡，用户读取某一文件的时候可以由多个节点共同提供，而且还可以通过横向扩展来保证性能提升与分担负载
跟踪服务器（tracker server）
tracker server 主要负责调度服务，提供负载均衡
tracker server 将集群中所有存储组和 storage server 的状态信息等存放在内存中
tracker server 是 client 和 storage server 交互的枢纽
storage server 在启动后会自动连接 tracker，告知自己的 group 信息并保持周期性的心跳，tracker根据 storage 的心跳信息，建立 group==>[storage server list] 的映射表
存储服务器（storage server）
storage 上存储了文件的元文件的信息，它直接利用 OS 的文件系统来调用或管理文件
storage 以组或卷（group或volume）来作为单位，一个 group 内包含多台storage ，数据互相备份
利用 group 可以实现数据隔离、负载均衡、应用隔离等功能
数据隔离：将不同应用的数据放在不同 group 下 负载均衡：根据应用的访问特性来将应用数据分配到不同 group 下来做负载均衡
group 内的每台 storage 都依赖于本地文件系统，storage 可以配置多个存储目录，当收到写请求时，会根据配置好的规则来选择其中一个存储目录来存储文件
为了避免单个目录下的文件数太多，在storage第一次启动时，会在每个数据存储目录里创建2级子目录，每级265个，总共65535个文件。新写的文件会以hash的方式路由到某个子目录下。然后将文件数据直接作为一个本地文件存储到该目录中
客户端（client）
作为业务请求发起方，通过专门接口，使用TCP/IP协议与tracker server或者storage server进行数据交互
FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete等，以客户端库的方式提供给用户使用
既然是分布式，那么肯定有集群
Tracker集群
FastDFS集群中的Tracker server可以有多台，Tracker server之间是相互平等关系，同时提供服务
Trackerserver不存在单点故障。客户端请求Trackerserver采用轮询方式，如果请求的tracker无法提供服务则换另一个tracker
Storage server会连接集群中所有的Tracker server，定时向他们报告自己的状态，包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息
Storage集群
为了支持大容量，storage server采用了分组的形式。
存储系统由一个或多个group组成，group之间的文件是相互独立的，所有group内的文件容量累加就是整个存储系统中的文件容量
一个group内包含一台或多台storage server，group内的storage是平等关系，不同group内的storage不会相互通信，同group内的storage之间会相互连接进行文件同步，从而保证同group内的每个storage上的文件完全一致
在group中添加 storage时，系统会自动同步已有的文件系统，同步完成后，系统自动将新增storage到线上提供服务。当存储空间不足或者即将耗尽时，可以动态添加group。只需要增加一台或多台storage并将它们配置到同一个group内就行
FastDFS既然是一个分布式文件系统，那就少不了文件操作
下面我来介绍一下两个基本的文件操作——上传和下载
上传
FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete等，以客户端库的方式提供给用户使用
当tracker收到客户端上传文件的请求时，会为该文件分配一个可以存储文件的group，当选定了group后就要决定给客户端分配group中哪一个storage
分配好storage后，将客户端请求分发到指定storage上，storage会为文件分配一个数据存储目录然后为文件分配一个fileid，最后根据以上的信息生成文件名存储文件，Storage将文件写入磁盘后，会返回路径信息给客户端，客户端就可以根据这个路径信息找到上传的文件
2.下载
Storage 会定时的向 Tracker 发送心跳，告诉Tracker自己还还活着，这样Fastdfs就可以工作了
客户端发送下载请求到Tracker上，Tracker查找到存储的Storage地址后返回给客户端
客户端拿到Storage地址后，去Storage上找到文件
Storage把文件返回给客户端
举个例子：
比如说 client 上传一个文件到集群中，然后返回一个 storage 的路径信息给 client
group1/M00/02/44/Swtdssdsdfsdf.txtclient 拿着这个路径信息去下载文件，Tracker 接收到读请求后能够很快的定位到客户端需要访问的存储服务器组是group1，并选择合适的 storage 提供客户端访问
然后 storage 根据“文件存储虚拟磁盘路径”和“数据文件两级目录”可以很快定位到文件所在目录，并根据文件名找到客户端需要访问的文件
在大多数业务场景中，往往需要为FastDFS存储的文件提供http下载服务，而尽管FastDFS在其storage及tracker都内置了http服务， 但性能表现却不尽如人意
后来的版本中增加了基于当前主流 web 服务器(nginx/apache)的扩展模块，便利用 web 服务器直接对本机 storage 数据文件提供 http 服务，以提高文件下载的性能
在每一台 storage 服务器主机上部署 Nginx 及 FastDFS 扩展模块，由 Nginx 模块对 storage 存储的文件提供 http 下载服务， 仅当当前storage节点找不到文件时会向源 storage 主机发起 redirect 或 proxy 动作
例如：文件上传至节点A，但是通过负载均衡之后，访问了节点B，则不能访问文件，所以会出现时而能访问时而不能访问的结果，而 FastDFS 扩展模块就可以解决这个问题，它会发起重定向或者代理的动作
IP地址：192.168.149.131
tracker：192.168.149.131:22122
nginx：192.168.149.131:8080
包目录：/usr/local/
注：一定要先启动Tracker，再启动Storage
需要安装的包
1.libfatscommon：FastDFS分离出的一些公用函数包2.FastDFS：FastDFS3.fastdfs-nginx-module：FastDFS和nginx的关联模块4.nginx：提供web服务
首先安装编译环境（我们需要编译安装FastDFS）
yum -y install gcc pcre-devel zlib-devel openssl-devel libxml2-devel \libxslt-devel gd-devel GeoIP-devel jemalloc-devel libatomic_ops-devel \perl-devel perl-ExtUtils-Embed git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel
安装相关包（安装之后解压）
#创建包目录mkdir /usr/local/fastdfscd /usr/local/fastdfswget --no-check-certificate https://github.com/happyfish100/libfastcommon/archive/refs/heads/master.zip -O libfastcommon-master.zipwget --no-check-certificate https://github.com/happyfish100/fastdfs/archive/refs/heads/master.zip -O fastdfs.zipwget --no-check-certificate https://github.com/happyfish100/fastdfs-nginx-module/archive/refs/heads/master.zip -O fastdfs-nginx-module.zipunzip libfastcommon-master.zipunzip fastdfs.zipunzip fastdfs-nginx-module.ziprm -rf *.zip
编译安装
cd /usr/local/fastdfs/libfastcommon-master && sh make.sh clean && sh make.sh && sh make.sh installcd /usr/local/fastdfs/fastdfs-master && sh make.sh clean && sh make.sh && sh make.sh installcd /usr/local/fastdfs/fastdfs-master && sh setup.sh /etc/fdfs
我们将配置文件和注册服务文件放到其他目录下，方便我们操作（个人习惯）
#配置文件cp -r -a /usr/local/fastdfs/fastdfs-master/conf/* /etc/fdfs#注册服务文件cp -r -a /usr/local/fastdfs/fastdfs-master/systemd/* /usr/lib/systemd/system
tracker 配置
#创建工作目录mkdir /opt/fdfs/{tracker,storage,client} -pv && mkdir /opt/fdfs/storage/data#切换目录cd /etc/fdfs/##tracker文件配置和修改启动服务配置cp tracker.conf tracker.conf.bakvim tracker.confbase_path = /opt/fdfs/trackervim /usr/lib/systemd/system/fdfs_trackerd.servicePIDFile=/opt/fdfs/tracker/data/fdfs_trackerd.pid
storage 配置
##storage文件配置和修改启动服务配置cp storage.conf storage.conf.bakvim storage.confgroup_name =group1base_path = /opt/fdfs/storagestore_path0 = /opt/fdfs/storage/datatracker_server =192.168.149.131:22122http.server_port =8888vim /usr/lib/systemd/system/fdfs_storaged.servicePIDFile=/opt/fdfs/storage/data/fdfs_storaged.pid
client配置（因为是单机部署，所以 client 在本地）
#client配置cp client.conf client.conf.bakvim client.confbase_path = /opt/fdfs/clienttracker_server =192.168.149.131:22122
启动服务
#重新加载启动服务systemctl daemon-reload#启动服务systemctl start fdfs_trackerdsystemctl start fdfs_storaged
优化
# 建立fdfs快捷命令alias fdfs_delete_file='fdfs_delete_file /etc/fdfs/client.conf'alias fdfs_download_file='fdfs_download_file /etc/fdfs/client.conf'alias fdfs_file_info='fdfs_file_info /etc/fdfs/client.conf'alias fdfs_monitor='fdfs_monitor /etc/fdfs/client.conf'alias fdfs_upload_file='fdfs_upload_file /etc/fdfs/client.conf'alias fdfs_test='fdfs_test /etc/fdfs/client.conf'
部署完之后我们来简单验证一下
fdfs_upload_file 1.jpggroup1/M00/00/00/wKiVg2L8Uq6AO3LzAADZ-GROavg913.jpg
Nginx 外部访问
fastdfs 安装好以后是无法通过 http 访问的，这个时候就需要借助 Nginx 了，所以需要安装 fastdfs 的第三方模块到 Nginx 中，就能使用了
首先我们安装 nginx
cd /usr/local/wget http://nginx.org/download/nginx-1.15.4.tar.gztar -zxvf nginx-1.15.4.tar.gz#编译安装，添加FastDFS模块--add-module=/usr/local/fastdfs/fastdfs-nginx-module-master/srccd nginx-1.15.4/./configure --with-threads --with-file-aio --with-http_ssl_module --with-http_v2_module --with-http_realip_module --with-http_addition_module --with-http_xslt_module=dynamic --with-http_image_filter_module=dynamic --with-http_geoip_module=dynamic --with-http_sub_module --with-http_dav_module --with-http_flv_module --with-http_mp4_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_auth_request_module --with-http_random_index_module --with-http_secure_link_module --with-http_degradation_module --with-http_slice_module --with-http_stub_status_module --with-stream=dynamic --with-stream_ssl_module --with-stream_realip_module --with-stream_geoip_module=dynamic --with-stream_ssl_preread_module --with-compat --with-pcre-jit --add-module=/usr/local/fastdfs/fastdfs-nginx-module-master/srcmakemake installcd ..
然后修改 nginx 配置文件，并将nginx配置文件转移到包目录下（个人习惯）
#备份cp nginx-1.15.4/conf/nginx.conf nginx-1.15.4/conf/nginx.conf.bakvim nginx-1.15.4/conf/nginx.confworker_processes 1;events {worker_connections 1024;}http {include mime.types;default_type application/octet-stream;log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for" "$upstream_addr"';sendfile on;keepalive_timeout 65;server {listen 8080;server_name localhost;location ~/group([0-9])/M00 {ngx_fastdfs_module;}location / {root html;index index.html index.htm;}error_page 500 502 503 504 /50x.html;location = /50x.html {root html;}}}#转移cp nginx-1.15.4/conf/nginx.conf /usr/local/nginx/conf/
之后我们进行模块配置
cp /usr/local/fastdfs/fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs/#备份文件cp /etc/fdfs/mod_fastdfs.conf /etc/fdfs/mod_fastdfs.conf.bak#模块配置vim /etc/fdfs/mod_fastdfs.conftracker_server =192.168.149.131:22122url_have_group_name =truestore_path0=/opt/fdfs/storage/data
由于Nginx是编译安装，我们还需要为它注册服务
#注册nginx服务vim /usr/lib/systemd/system/nginx.service[Unit]Description=The nginx HTTP and reverse proxy serverAfter=network-online.target remote-fs.target nss-lookup.targetWants=network-online.target[Service]Type=forkingPIDFile=/usr/local/nginx/logs/nginx.pidExecStartPre=/usr/local/nginx/sbin/nginx -tExecStart=/usr/local/nginx/sbin/nginxExecReload=/usr/local/nginx/sbin/nginx -s reloadKillSignal=SIGQUITTimeoutStopSec=5KillMode=processPrivateTmp=true#重启生效一下systemctl daemon-reload
将 /usr/local/nginx/conf/ 软连接到/etc/nginx （方便我们配置）
ln -s /usr/local/nginx/conf/ /etc/nginx启动nginx
systemctl start nginx我们验证一下
打开浏览器访问：192.168.149.131:8080/group1/M00/00/00/wKiVg2L8Uq6AO3LzAADZ-GROavg913.jpg
可以看到成功访问啦
原文作者：咸鱼运维杂谈；如有侵权，请联系管理员删除。
