FastDFS是一個(gè)開源的分布式文件服務(wù)器系統(tǒng)，通過該軟件，用戶可以很好解決海量數(shù)據(jù)儲(chǔ)存問題，非常適合小型文件為載體的在線服務(wù)，該軟件由多個(gè)服務(wù)器組成，能夠?qū)Σ煌姆?wù)命令進(jìn)行調(diào)節(jié)，起到減輕數(shù)據(jù)運(yùn)行的問題，有效的幫助用戶梳理服務(wù)器通道，對(duì)于相冊(cè)網(wǎng)站、視頻網(wǎng)站等非常有效，該軟件具有自動(dòng)添加卷的功能，當(dāng)存儲(chǔ)空間不足或即將耗盡時(shí)，可以動(dòng)態(tài)添加卷，非常方便，需要的朋友趕快下載試試吧！

軟件功能

　　FastDFS是一個(gè)開源的分布式文件系統(tǒng)，特別適合以文件為載體的在線服務(wù)，如相冊(cè)網(wǎng)站、視頻網(wǎng)站等等。

　　FastDFS服務(wù)端有兩個(gè)角色：跟蹤器（tracker）和存儲(chǔ)節(jié)點(diǎn)（storage）。跟蹤器主要做調(diào)度工作，在訪問上起負(fù)載均衡的作用。

　　存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)文件，完成文件管理的所有功能：

　　存儲(chǔ)、同步和提供存取接口，F(xiàn)astDFS同時(shí)對(duì)文件的meta data進(jìn)行管理。

　　所謂文件的meta data就是文件的相關(guān)屬性，以鍵值對(duì)（key value pair）方式表示，

　　如：width=1024，其中的key為width，value為1024。文件meta data是文件屬性列表，可以包含多個(gè)鍵值對(duì)。

軟件特色

　　FastDFS提供了設(shè)置/獲取文件擴(kuò)展屬性的接口（setmeta/getmeta)，擴(kuò)展屬性以key-value對(duì)的方式存儲(chǔ)在storage上的同名文件（擁有特殊的前綴或后綴），比如/group/M00/00/01/some_file為原始文件，則該文件的擴(kuò)展屬性存儲(chǔ)在/group/M00/00/01/.some_file.meta文件（真實(shí)情況不一定是這樣，但機(jī)制類似），這樣根據(jù)文件名就能定位到存儲(chǔ)擴(kuò)展屬性的文件。

　　以上兩個(gè)接口作者不建議使用，額外的meta文件會(huì)進(jìn)一步“放大”海量小文件存儲(chǔ)問題，同時(shí)由于meta非常小，其存儲(chǔ)空間利用率也不高，比如100bytes的meta文件也需要占用4K（block_size）的存儲(chǔ)空間。

　　FastDFS還提供appender file的支持，通過upload_appender_file接口存儲(chǔ)，appender file允許在創(chuàng)建后，對(duì)該文件進(jìn)行append操作。實(shí)際上，appender file與普通文件的存儲(chǔ)方式是相同的，不同的是，appender file不能被合并存儲(chǔ)到trunk file。

軟件優(yōu)勢(shì)

　　高性能

　　大容量

　　負(fù)載均衡

　　簡單

注意事項(xiàng)

　　因?yàn)镕astDFS默認(rèn)自帶的http服務(wù)器性能不好， 所以一般建議用外置的apache或者nginx 來解決http下載，以應(yīng)付大并發(fā)的情況 注意nginx擴(kuò)展模塊只支持GET和HEAD模式獲取文件，需要開發(fā)那邊配合修改程序

　　獲取nginx和FastDFS的nginx擴(kuò)展插件

　　wget https://sourceforge.net/projects/fastdfs/files/FastDFS%20Nginx%20Module%20Source%20Code/

　　wget http://nginx.org/

　　解壓并編譯安裝

　　備注：如果之前機(jī)器上安裝了nginx，可以單獨(dú)安裝fastdfs-nginx-module模塊

模塊介紹

　　tracker server：跟蹤服務(wù)器，主要做調(diào)度工作，起負(fù)載均衡的作用。在內(nèi)存中記錄集群中所有存儲(chǔ)組和存儲(chǔ)服務(wù)器的狀態(tài)信息，是客戶端和數(shù)據(jù)服務(wù)器交互的樞紐。

　　storage server：存儲(chǔ)服務(wù)器（又稱：存儲(chǔ)節(jié)點(diǎn)或數(shù)據(jù)服務(wù)器），文件和文件屬性（meta data）都保存到存儲(chǔ)服務(wù)器上。Storage server直接利用OS的文件系統(tǒng)調(diào)用管理文件。

　　client：客戶端，作為業(yè)務(wù)請(qǐng)求的發(fā)起方，通過專有接口，使用TCP/IP協(xié)議與跟蹤器服務(wù)器或存儲(chǔ)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)交互。

使用說明

　　1, 下載安裝libfastcommon，添加fastDFS運(yùn)行用戶

　　yum install -y zlib zlib-devel pcre pcre-devel gcc gcc-c++ openssl openssl-devel libevent libevent-devel perl unzip

　　useradd -s /sbin/nologin fastdfs

　　2,創(chuàng)建數(shù)據(jù)存儲(chǔ)目錄

　　mkdir -p /export/fastdfs/{storage,tracker}

　　[root@localhost src]# ll /export/fastdfs

　　total 0

　　drwxr-xr-x 2 root root 6 Dec 10 15:18 storage #Storage目錄保存運(yùn)行日志及其data數(shù)據(jù)

　　drwxr-xr-x 2 root root 6 Dec 10 15:17 tracker #tracker目錄保存運(yùn)行日志

　　3，安裝libfastcommon

　　下載最新版本： libfastcommon

　　wget https://github.com/happyfish100/libfastcommon/archive/master.zip

　　unzip master.zip

　　cd libfastcommon-master/

　　./make.sh

　　./make.sh install

　　4, 安裝Fastdfs

　　wget http://sourceforge.net/projects/fastdfs/files/FastDFS%20Server%20Source%20Code/FastDFS%20Server%20with%20PHP%20Extension%20Source%20Code%20V5.05/FastDFS_v5.05.tar.gz/download

　　tar zxf FastDFS_v5.05.tar.gz && cd FastDFS

　　./make.sh

　　./make.sh install

　　cp pa conf/*.conf /etc/fdfs/

　　cd /etc/fdfs/

　　rm -rf *.sample

　　chown -R fastdfs: /export/fastdfs

　　5, 配置tracker 和 storage 配置文件, 對(duì)應(yīng)修改

　　vi storage.conf

　　group_name=group1

　　base_path=/export/fastdfs/storage

　　store_path0=/export/fastdfs/storage

　　tracker_server=192.168.0.205:22122

　　tracker_server=192.168.0.206:22122

　　http.server_port=80

　　vi tracker.conf

　　base_path=/export/fastdfs/tracker

　　vi mod_fastdfs.conf

　　group_name=group1

　　base_path=/export/fastdfs/storage

　　store_path0=/export/fastdfs/storage

　　tracker_server=192.168.0.205:22122

　　tracker_server=192.168.0.206:22122

　　url_have_group_name = true #是true 不是ture

　　vi client.conf

　　tracker_server=192.168.0.205:22122

　　tracker_server=192.168.0.206:22122

　　6，安裝nginx和fastdfs-nginx-module模塊

　　wget http://nginx.org/download/nginx-1.8.0.tar.gz

　　http://sourceforge.net/projects/fastdfs/files/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz/download

　　tar zxf fastdfs-nginx-module_v1.16.tar.gz && tar zxf nginx-1.8.0.tar.gz

　　#修改模塊中對(duì)應(yīng)的路徑，要不然模塊不能正確安裝加載

　　cd fastdfs-nginx-module/src

　　vi conf #更改如下， 去掉local，并指定lib64（64系統(tǒng)）

　　CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

　　CORE_LIBS="$CORE_LIBS -L/usr/lib64 -lfastcommon -lfdfsclient"

　　ulimit -SHn 102400

　　useradd -s /sbin/nologin www

　　cd nginx-1.8.0

　　/configure --user=www --group=www --add-module=../fastdfs-nginx-module/src/ --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module

　　make

　　make install

　　7， 配置nginx

　　server {

　　listen 80;

　　server_name 192.168.0.205;

　　root /webdata/fastdfs.com;

　　index index.html index.htm;

　　location / {

　　if (!-e $request_filename) {

　　rewrite ^(.*)$ /index.html last;

　　}

　　location /group1/M00 {

　　root /export/fastdfs/storage/data/;

　　ngx_fastdfs_module;

　　}

　　location ~ .*.(gif|jpg|jpeg|png|bmp|swf|js)$ {

　　# fastcgi_cache cache_one; #nginx.conf 開啟cache才行，要不然啟動(dòng)報(bào)錯(cuò)

　　fastcgi_cache_valid 200 10m;

　　fastcgi_cache_valid 304 3m;

　　fastcgi_cache_valid 301 302 1h;

　　fastcgi_cache_valid any 1m;

　　fastcgi_cache_min_uses 1;

　　fastcgi_cache_use_stale error timeout invalid_header http_500;

　　fastcgi_cache_key $host$request_uri;

　　access_log off;

　　}

　　}

　　access_log off;

　　}

　　8， 206 的配置一樣， nginx對(duì)應(yīng)的ip為206， 啟動(dòng)nginx和fastdfs

　　[root@test-1 vhost]# /etc/init.d/fdfs_storaged start

　　Starting FastDFS storage server:

　　[root@test-1 vhost]# /etc/init.d/fdfs_trackerd start

　　Starting FastDFS tracker server:

　　[root@test-1 vhost]#

　　[root@test-1 vhost]# /etc/init.d/nginx -t

　　ngx_http_fastdfs_set pid=8985

　　nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok

　　nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful

　　[root@test-1 vhost]# /etc/init.d/nginx -s reload

　　ngx_http_fastdfs_set pid=8986

　　root@test-1 vhost]# netstat -npl |grep -E "nginx|fdfs"

　　tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 8972/fdfs_trackerd

　　tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 7561/nginx

　　tcp 0 0 0.0.0.0:23000 0.0.0.0:* LISTEN 8679/fdfs_storaged

　　9，測試

　　[root@test-1 ~]# fdfs_test /etc/fdfs/client.conf upload test.html

　　This is FastDFS client test program v5.05

　　Copyright (C) 2008, Happy Fish / YuQing

　　FastDFS may be copied only under the terms of the GNU General

　　Public License V3, which may be found in the FastDFS source kit.

　　Please visit the FastDFS Home Page http://www.csource.org/

　　for more detail.

　　[2015-06-14 02:46:06] DEBUG - base_path=/tmp, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

　　tracker_query_storage_store_list_without_group:

　　server 1. group_name=, ip_addr=192.168.0.205, port=23000

　　server 2. group_name=, ip_addr=192.168.0.206, port=23000

　　group_name=group1, ip_addr=192.168.0.206, port=23000

　　storage_upload_by_filename

　　group_name=group1, remote_filename=M00/00/00/wKgAzlV8em6Af8qBAAAADxtaRO466.html

　　source ip address: 192.168.0.206

　　file timestamp=2015-06-14 02:46:06

　　file size=15

　　file crc32=458900718

　　example file url: http://192.168.0.206/group1/M00/00/00/wKgAzlV8em6Af8qBAAAADxtaRO466.html

　　storage_upload_slave_by_filename

　　group_name=group1, remote_filename=M00/00/00/wKgAzlV8em6Af8qBAAAADxtaRO466_big.html

　　source ip address: 192.168.0.206

　　file timestamp=2015-06-14 02:46:06

　　file size=15

　　file crc32=458900718

　　更新日志

　　修正了 README 里面的拼寫錯(cuò)誤

　　Bug 修復(fù)：不能處理同步 truncate 文件異常

　　移除了 tracker_global.c 外部關(guān)鍵字到 tracker_global.h

　　當(dāng)IOEVENT_ERROR時(shí)，將日志級(jí)別從ERROR更改為DEBUG

　　php回調(diào)應(yīng)該使用INIT_ZVAL來初始化zval變量

　　添加函數(shù)short2buff和buff2short

　　添加get_url_content_ex以支持調(diào)用者傳遞的緩沖區(qū)

　　記錄器可以設(shè)置旋轉(zhuǎn)時(shí)間格式

　　logger可以日志頭行

　　#include 使用C99 bool

　　記錄器可以刪除舊的旋轉(zhuǎn)文件

　　錯(cuò)誤修復(fù)：連接池不應(yīng)該增加計(jì)數(shù)器時(shí)連接失敗

　　logger.c不要在寫后調(diào)用fsync