FastDFS

很久之前，对上传的文件可能是存储在数据库，在数据库中存储路径，保存文件的二进制数据，随着用户上传的文件增加，数据库数据越来越多。这时，可以使用分布式文件系统，将用户上传的文件例如图片，pdf，word，excel，视频等存储在文件服务器上。

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS用C语言实现，支持Linux、FreeBSD、MacOS等类UNIX系统。FastDFS类似google FS，属于应用级文件系统，不是通用的文件系统，只能通过专有API访问，目前提供了C和Java SDK，以及PHP扩展SDK。FastDFS可以看做是基于文件的key value存储系统，key为文件ID，value为文件内容，因此称作分布式文件存储服务更为合适。

FastDFs架构

FastDFS 系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。

　　Tracker Server：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的 storage server和 group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳。

　　Storage Server：存储服务器，主要提供容量和备份服务；以 group 为单位，每个 group 内可以有多台 storage server，数据互为备份。

　　Client：客户端，上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。

安装搭建

安装主要步骤

安装前首先安装相关的依赖，yum install make cmake gcc gcc-c++安装libfastcommon安装fastDFS配置跟踪器(tracker)配置存储器(storage)环境搭建完成，可以进行测试环境是否搭建成功跟踪服务器和存储服务器安装nginx启动和关闭服务顺序，跟踪器，存储器，Nginx

这里安装使用的是CentOS7。

用虚拟软件VirtualBox准备了两台机器，192.168.43.101，192.168.43.111，在两台机器中都先安装相关依赖。yum install make cmake gcc gcc-c++

首先安装libfastcommon，两台服务器都一样的操作。

1.下载libfastcommon安装包，放入/usr/local/software（可自己选择路径）

wget 

2.解压，新建/usr/local/fastDfs目录，解压至该目录

tar -zxvf V1.0.7.tar.gz  -C  /usr/local/fastDfs

3.编译、安装

cd /usr/local/fastDfs/libfastcommon-1.0.7./make.sh./make.sh install

4.编译安装时，程序会在/usr/lib64创建文件，但是FastDFS主程序目录是/usr/local/lib，所以我们需要创建/usr/lib64/下的一些核心执行程序的软连接文件。

mkdir  /usr/local/lib/ ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.soln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so 

安装FastDFS

1.下载安装包至/usr/local/software

wget 

2.解压

tar -zxvf  V5.05.tar.gz -C /usr/local/fastDfs/

3.编译安装

cd /usr/local/fastDfs//usr/local/fastDfs/./make.sh./make.sh install

4.编译安装时，生成了许多的目录。

5.默认安装方式,安装后的相应文件与目录

1）服务脚本，在/etc/init.d目录下

/etc/init.d/fdfs_storaged/etc/init.d/fdfs_tracker

2）配置文件样例,在/etc/fdfs目录下

/etc/fdfs/client.conf.sample/etc/fdfs/storage.conf.sample/etc/fdfs/tracker.conf.sample

3）命令行工具：/usr/bin/目录下

6.FastDFS 服务脚本设置的bin目录是/usr/local/bin， 但实际命令安装在 /usr/bin/ 下。所有我们要修改下。

两种方式：

　　一是修改FastDFS 服务脚本中相应的命令路径，也就是把 /etc/init.d/fdfs_storaged 和 /etc/init.d/fdfs_tracker 两个脚本中的 /usr/local/bin 修改成 /usr/bin。

# vim fdfs_trackerd　使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin　　　　 　 # vim fdfs_storaged 使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin

二是建立 /usr/bin 到 /usr/local/bin 的软链接。　　

ln -s /usr/bin/fdfs_trackerd   /usr/local/binln -s /usr/bin/fdfs_storaged   /usr/local/binln -s /usr/bin/stop.sh         /usr/local/binln -s /usr/bin/restart.sh      /usr/local/bin

这里采用第一种方式。对两台机器的服务脚本都进行替换。

配置FastDFS跟踪器(Tracker)

1.在其中一台机器配置Tracker。进入 /etc/fdfs目录，配置跟踪器文件，把tracker.conf.simple文件进行copy一份，去修改tracker.conf文件

cd /etc/fdfs/vim tracker.conf

2.修改配置

创建新的目录，/home/fast/tracker，将base_path修改为自己创建的目录/home/fast/tracker。

其他配置为默认，不作修改。

可以看出Tracker跟踪器的默认端口为22122。

5.防火墙添加端口

firewall-cmd --zone=public --add-port=22122/tcp --permanentsystemctl reload firewalldsystemctl restart firewalld.service

6.启动Tracker

/etc/init.d/fdfs_trackerd start #启动/etc/init.d/fdfs_trackerd stop #关闭或systemctl start fdfs_trackerd.servicesystemctl stop fdfs_trackerd.service

查看进程：

ps -ef | grep fdfs

7.启动成功后，进入配置的tracker的目录

cd /home/fast/tracker/ && ll

生成的data和logs分别表示：

 |__data  |   |__storage_groups.dat：存储分组信息  |   |__storage_servers.dat：存储服务器列表  |__logs  |   |__trackerd.log： tracker server 日志文件 

8.设置开机服务自启动

 chkconfig fdfs_trackerd on 或者：vim /etc/rc.d/rc.local 加入配置：/etc/init.d/fdfs_trackerd start

至此Tracker配置完成

配置FastDFS存储器(Storage)

1.在另外一台机器中，同样进入 /etc/fdfs目录，修改存储器配置文件，把storage.conf.simple文件进行copy一份，修改storage.conf文件。

cd /etc/fdfscp storage.conf.sample storage.conf

2.修改配置

vim storage.conf

创建新的目录，/home/fast/storage，将base_path修改为自己创建的目录/home/fast/storage。

修改base_path0路径也为/home/fast/storage。

配置tracker服务器的IP地址，端口号。

3.防火墙配置端口

storage的默认端口为23000

firewall-cmd --zone=public --add-port=23000/tcp --permanentsystemctl reload firewalldsystemctl restart firewalld.service

4.启动storage

/etc/init.d/fdfs_storaged start #启动/etc/init.d/fdfs_storaged stop #关闭或systemctl start fdfs_storaged.servicesystemctl stop fdfs_storaged.service

查看进程

ps -ef|grep fdfs

5.查看tracker和storage是否在通信

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

6.设置服务开机自启动

 chkconfig fdfs_storaged  on 或者：vim /etc/rc.d/rc.local 加入配置：/etc/init.d/fdfs_storaged  start

测试上传文件

1.可以在配台机器做client端，在这里用tracker服务器来测试上传。到/etc/fdfs/目录。把client.conf.simple文件进行copy一份，去修改client.conf文件。

cp client.conf.sample client.conf

将base_path修改为自己创建的目录/home/fast/client,修改tracker_server信息。

2.到usr/bin目录下

cd /usr/binfdfs_upload_file /etc/fdfs/client.conf /usr/local/software/12.png

上传完成，并返回一串字符串：

group1/M00/00/00/wKgrb15zfgSAJ0RZAAZLsfRo4s0514.png

group1：组名

M00：磁盘

00：目录

wKgrb15zfgSAJ0RZAAZLsfRo4s0514.png：文件名

与Nginx的整合

1.关闭FastDFS的Tracker和Storage。在存储Storage端安装fastdfs-nginx-module，进入/usr/local/software目录，下载fastdfs-nginx-module。

#下载wget 解压unzip 5e5f3566bbfa57418b5506aaefbe107a42c9fcb1.zip#重命名 mv fastdfs-nginx-module-5e5f3566bbfa57418b5506aaefbe107a42c9fcb1  /usr/local/fastDfs/fastdfs-nginx-module-master

2.安装nginx

安装nignx，进入/usr/local/software目录，下载nginx

wget -c 

安装相关的依赖

# gcc 安装 yum install gcc-c++#PCRE pcre-devel 安装yum install -y pcre pcre-devel#zlib 安装 yum install -y zlib zlib-devel#OpenSSL 安装 yum install -y openssl openssl-devel

解压nginx

tar -zxvf nginx-1.12.1.tar.gz -C /usr/local

今入nginx-1.12.1目录，添加配置

cd nginx-1.12.1/./configure --add-module=/usr/local/fastDfs/fastdfs-nginx-module-master/src

编译,安装

make && make install

3.复制fastdfs-nginx-module-master的配置文件至/etc/fdfs目录下

cp /usr/local/fastDfs/fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs/

4.修改mod_fastdfs.conf

5.复制FastDFS里面的两个配置文件至/etc/fdfs目录下

cp /usr/local/fastDfs/fastdfs-5.05/conf/http.conf /etc/fdfscp /usr/local/fastDfs/fastdfs-5.05/conf/mime.types /etc/fdfs

6.创建一个软连接，在/fastdfs/storage文件存储目录下，创建软连接，将其链接到实际存放数据的目录。

ln -s /home/fast/storage/data /home/fast/storage/data/M00

7.修改nginx的配置

/usr/local/nginx/confvim nginx.conf

8.防火墙添加端口

firewall-cmd --zone=public --add-port=8888/tcp --permanentsystemctl reload firewalldsystemctl restart firewalld.service

启动nginx

cd usr/local/nginx/sbin./nginx

启动FastDFS的Tracker和Storage。

在浏览器访问之前上传的图片：

至此配置完成了，配置过程还是比较复杂的。后续再讲FastDFS的其他技术知识。