linux搭建FastDFS文件服务器的实现步骤

目录
  • 1.软件包
  • 2.安装gcc
  • 3.安装libfastcommon
  • 4.安装FastDFS
  • 5.安装tracker
  • 6.安装storage
  • 7.测试图片上传
  • 8.安装Nginx。
  • 9.安装fastdfs-nginx-module

本文主要介绍在linux服务器如何搭建FastDFS文件服务器。大概分为9个步骤,由于内容较为繁琐。下面带你入坑!

首先简单介绍一下FastDFS是淘宝资深架构师余庆老师主导开源的一个分布式文件系统,用C语言编写。适应与中小企业,对文件不分块。

主要有Tracker(管理) 和Storage (储存)。

返回路径= 组名 /虚拟盘符{M00/00/02} /文件名

1.软件包

下面是安装FastDFS的安装包

第一步:大家在浏览器地址栏输入:https://sourceforge.net/projects/fastdfs/files,我们会看到如下图所示界面。

第二步:下载FastDFS的Server安装包,我们点击上图"FastDFS Server Source Code",会看到如下图所示界面,我们选择2014-12-02那个版本,因为这个版本是最稳定的版本。

第三步:我们会看到如下图所示界面,我们点击"FastDFS_v5.05.tar.gz"进行下载即可。

下面是下载好的

或者是自己下载

wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz
wget http://jaist.dl.sourceforge.net/project/fastdfs/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz
wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz
wget http://nginx.org/download/nginx-1.12.1.tar.gz

2.安装gcc

检查系统是否有安装GCC

gcc –version

安装GCC

yum -y install gcc gcc-c++ autoconf pcre pcre-devel make automake
yum -y install wget httpd-tools vim

就把gcc当成c语言编译器, g++当成c++语言编译器用就是了.(知乎)

3.安装libfastcommon

进入libfastcommon压缩包目录解压,编译,安装

tar -zxvf libfastcommonV1.0.7.tar.gz

进入解压的libfastcommon-1.0.7目录,编译

./make.sh

安装

./make.sh install 

最后,libfastcommon.so文件到usr/lib下 ,请按照自己的实际文件路径修改被复制路径

cp /data/fastDFS/software/libfastcommon-1.0.7/src/libfastcommon.so /usr/lib

4.安装FastDFS

解压FastDFS_v5.05.tar.gz,然后编译安装FastDFS

tar -zxvf FastDFS_v5.05.tar.gz
./make.sh
./make.sh install

安装成功后将目录conf内的文件拷贝到/etc/fdfs目录下:

cp /data/fastDFS/software/FastDFS/conf/* /etc/fdfs/

5.安装tracker

进入/etc/fdfs目录,修改tracker.conf文件。如果不存在,就拷贝tracker.conf.sample文件为tracker.conf,然后再修改:

base_path=/home/yuqing/fastdfs >>> base_path=/home/logs/fastdfs (注解:日志文件)

http.server_port=8080 >>> http.server_port=80 (注解:端口,80是方便默认)

store_group=group1 (注解:组名)

其中,/home/

logs

/fastdfs目录如果不存在,就创建一个。

之后,就启动tracker,并查看是启动成功(出现如下提示,表示启动成功):restart重启

fdfs_trackerd /etc/fdfs/tracker.conf start
netstat -unltp | grep tracker

6.安装storage

由于storage和tracker运行的都是fastDFS程序,每一台服务器都部署一台fasfDFS,一台服务器是tracker,一台是storage

修改storage.conf文件。如果不存在,就拷贝storage.conf.sample文件为storage.conf,然后再修改:

base_path=/home/yuqing/fastdfs >>> base_path=/home/logs/storage (日志路径)

store_path0=/home/yuqing/fastdfs >>> store_path0=/home/data/storage  (实际储存文件路径,可以配置多个)

tracker_server=192.168.209.121:22122 >>> tracker_server=192.168.2.231:22122 (连接tracker服务器地址)

group_name=group1 (必须和tracker的组名相同)http.server_port=80 (这个端口也要改)

其中,如果/home/logs/storage/home/data/storage不存在,就创建该目录

然后,就启动storage,并查看是否成功(出现如下提示,表示启动成功):

fdfs_storaged /etc/fdfs/storage.conf start
netstat -unltp | grep storage

最后,查看trackerstorage是不是在通信:

fdfs_monitor /etc/fdfs/storage.conf

如下提示,出现ACTIVE,表示二者均正常启动,至此就可以进行上传文件测试了。

7.测试图片上传

Tracker和storage都已经安装完成,使用命令测试文件上传:
FastDFS提供一个文件上传命令:usr/bin/fdfs_test 测试文件上传。测试上传需要连接tracker服务器,连接storage服务器。因此需要指定一个配置文件:client.conf配置文件,通过Client.conf连接tracker服务器。

修改/etc/fdfs下client.conf

base_path=/home/logs/client (日志目录)
tracker_server=192.168.2.231:22122  (tracker端口)

测试命令

/usr/bin/fdfs_test /etc/fdfs/client.conf upload anti-steal.jpg

如下图返回地址则成功

8.安装Nginx。

安装Nginx所需的其他环境,gcc在上面装过了。本人安装没走这一步

#gcc安装
yum install gcc-c++

#PCRE pcre-devel 安装
yum install -y pcre pcre-devel

# zlib 安装
yum install -y zlib zlib-devel

#OpenSSL 安装
yum install -y openssl openssl-devel

解压、编译、安装。

tar -zxvf nginx-1.12.1.tar.gz
cd nginx-1.12.1
./configure
make
make install

9.安装fastdfs-nginx-module

首先解压fastdfs-nginx-module_v1.16.tar.gz,修改/fastdfs-nginx-module/src/config文件。去掉所有的local(三个)

拷贝usr/lib64目录下库文件libfdfsclient.so

cp /usr/lib64/libfdfsclient.so /usr/lib 

在nginx安装目录下执行如下命令:把module添加nginx中。通过设置安装参数方式添加模块。

cd nginx-1.12.1
./configure --add-module=../fastdfs-nginx-module/src

注意:我这里nginx-1.12.1和fastdfs-nginx-module在同一级目录,所以这样写

重新安装编译

make && make install

查看Nginx的模块

/usr/local/nginx/sbin/nginx -V

复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录, 并修改

cd fastdfs-nginx-module/src
cp mod_fastdfs.conf /etc/fdfs/

进入/etc/fdfs/修改mod_fastdfs.conf如下配置,其他默认

# 连接超时时间
connect_timeout=10

# Tracker Server
tracker_server=192.168.2.231:22122

# StorageServer 默认端口
storage_server_port=23000

# 如果文件ID的uri中包含/group**,则要设置为true
url_have_group_name = true

# Storage 配置的store_path0路径,必须和storage.conf中的一致
store_path0=/home/data/storage

# the base path to store log files
base_path=/home/logs/storage

配置iNginx ,进入/usr/local/nginx/conf目录下修改nginx.conf

注意:无论你在哪解压安装的。必须进这个目录/usr/local/nginx/conf下修改nginx.conf

vim nginx.conf

修改配置,其它的默认

在80端口下添加fastdfs-nginx模块

location ~/group([0-9])/M00 {
    ngx_fastdfs_module;
}

注意下面#user nobody;改成 #user root;

#user  nobody;
worker_processes  1;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    server {
        listen       80;
        server_name  192.168.2.231;
        location ~/group([0-9])/M00 {
            ngx_fastdfs_module;
        }
        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        #    proxy_pass   http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht {
        #    deny  all;
        #}
    }

    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name  somename  alias  another.alias;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}

    # HTTPS server
    #
    #server {
    #    listen       443 ssl;
    #    server_name  localhost;

    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

    #    ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}
}

注意:

listen 80 端口值是要与 /etc/fdfs/storage.conf 中的 http.server_port=80 (前面改成80了)相对应。如果改成其它端口,则需要统一,同时在防火墙中打开该端口。

location 的配置,如果有多个group则配置location ~/group([0-9])/M00 ,没有则不用配group。

在文件存储目录下创建软连接,将其链接到实际存放数据的目录,注意这个文件存储的位置后面多个data目录是系统自动生成的

ln -s /home/data/storage/data /home/data/storage/data/M00

启动nginx

#启动nginx
cd /usr/local/nginx/sbin/
./nginx 直接启动/usr/local/nginx/sbin/nginx

#设置开机启动
vim /etc/rc.local
/usr/local/nginx/sbin/nginx

# 设置执行权限
chmod 755 rc.local

查看Nginx是否启动

ps -ef | grep nginx

OK记得云服务的安全组 和防火墙设置需要方通 80、22122、 23000 这个不会的请参考腾讯云服务器tomcat端口无法访问 中的防火墙设置

在地址栏中访问成功 http://192.175.231.128/group1/M00/00/00/rBAACVzBeU2AQBKJAAOHDqS1H9o350.jpg

报错!不存在的。有问题110,120,119

注意:

1.group2同组的Storage2和Storage3 FastDFS服务端口必须一致: port=23000。

2.一台服务器可以装多个组(group)但不能装同组的多个Storage,日志会报错误,日志报错原因是"注意1"

3.Version 4.05之前fastdfs内部绑定了libevent作为http服务器.Version 4.05之后的版本删除了内置的web http服务,内置的web http服务是个累赘,不用也罢!

4.启动storage server时,一直处于僵死状态.启动storage server,storage将连接tracker server,如果连不上,将一直重试。直到连接成功,启动才算真正完成!如果集群中有2台tracker server,而

其中一台tracker没有启动,可能会导致storage server一直处于僵死状态。

到此这篇关于linux搭建FastDFS文件服务器的实现步骤的文章就介绍到这了,更多相关linux搭建FastDFS文件服务器内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • Centos7配置fastdfs和nginx分布式文件存储系统实现过程解析

    1.安装libfastcommon-1.0.43,安装包可以在大佬的https://github.com/happyfish100/libfastcommon/releases下载 [root@localhost Downloads]# tar -zxvf libfastcommon-1.0.43.tar.gz # 解压后进入目录进行编译并安装 [root@localhost libfastcommon-1.0.43]#cd libfastcommon-1.0.43 [root@localhos

  • Docker中搭建FastDFS文件系统(多图教程)

    关于FastDFS FastDFS 是以 C 语言开发的一项开源轻量级分布式文件系统,他对文件进行管理,主要功能有:文件存储,文件同步,文件访问(文件上传/下载)等,特别适合以文件为载体的在线服务,如:图片网站,视频网站等. 外话:FastDFS 是阿里余庆大神做的一个个人项目,从2008年研发FastDFS开源至今,在一些互联网创业公司中备受推崇,GitHub开源地址:https://github.com/happyfish100/fastdfs 本文基于Docker搭建,以下是正文内容: 1

  • FastDFS分布式文件系统环境搭建及安装过程解析

    FastDFS:分布式文件系统 它对文件进行管理,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题. 特别适合以文件为载体的在线服务,如相册网站.视频网站等等. FastDFS为互联网量身定制,充分考虑了冗余备份.负载均衡.线性扩容等机制,并注重高可用.高性能等指标, 使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传.下载等服务. FastDFS服务端有两个角色: 跟踪器(tracker)和存储节点(storage). 跟踪器主要

  • 用nginx+FastDFS一步步搭建文件管理系统

    一.FastDFS介绍 FastDFS开源地址:https://github.com/happyfish100 参考:分布式文件系统FastDFS设计原理 参考:FastDFS分布式文件系统 个人封装的FastDFS Java API:https://github.com/bojiangzhou/lyyzoo-fastdfs-java 1.简介 FastDFS 是一个开源的高性能分布式文件系统(DFS). 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡.主要解决了海量数据存

  • SpringBoot集成FastDFS依赖实现文件上传的示例

    前言 对FastDFS文件系统安装后的使用. FastDFS的安装请参考这篇:Docker中搭建FastDFS文件系统(多图) 本文环境:IDEA + JDK1.8 + Maven 本文项目代码:fastdfs_jb51.rar 1.引入依赖 简单说一下这个依赖部分,目前大部分都是采用的如下依赖: <!-- https://mvnrepository.com/artifact/net.oschina.zcx7878/fastdfs-client-java --> <dependency&

  • linux搭建FastDFS文件服务器的实现步骤

    目录 1.软件包 2.安装gcc 3.安装libfastcommon 4.安装FastDFS 5.安装tracker 6.安装storage 7.测试图片上传 8.安装Nginx. 9.安装fastdfs-nginx-module 本文主要介绍在linux服务器如何搭建FastDFS文件服务器.大概分为9个步骤,由于内容较为繁琐.下面带你入坑! 首先简单介绍一下FastDFS是淘宝资深架构师余庆老师主导开源的一个分布式文件系统,用C语言编写.适应与中小企业,对文件不分块. 主要有Tracker(

  • 基于docker搭建nginx文件服务器的方法步骤

    1.在本机新建配置文件docker_nginx.conf server { listen 7070; server_name localhost; charset utf-8; location /files { #在docker内nginx的目录 alias /home/files; expires 1d; allow all; autoindex on; } 2.启动命令 docker run --name nginx -d -p 7070:7070 -v D:\dev\nginx-1.13

  • 如何使用 docker compose 搭建 fastDFS文件服务器

    上篇文章给大家介绍了使用docker compose安装FastDfs文件服务器的实例详解 今天给大家介绍如何使用 docker compose 搭建 fastDFS文件服务器,内容详情如下所示: 平台 :Mac M1 备注:关于 IP Address 关于 docker 的网络模式,上述文中提到了 docker 的 Host 模式: 如果启动容器的时候使用host模式,那么这个容器将不会获得一个独立的Network Namespace,而是和宿主机共用一个 Network Namespace.

  • docker搭建fastdfs环境的方法步骤

    fastdfs是一个开源的分布式文件系统,在实际使用中,通过源码编译安装过程非常复杂,但是通过docker快速构建却非常容易.下面介绍通过docker安装fastdfs的方法. docker镜像的选择也挺重要的,我最开始选择season/fastdfs,发现有些麻烦,有的版本好像带nginx比如1.2,有的版本又不带nginx比如latest.我使用season/fastdfs镜像安装没有成功过,但是使用delron/fastdfs镜像就成功了,而且只需要启动两个容器,一个tracker,一个s

  • linux搭建NFS文件共享服务器的步骤详解

    linux搭建NFS服务器 为了实现不同操作系统中的数据共享,我们一般会搭建一些用于文件共享的服务器,nfs服务器就是其中一种,它实现的是linux与linux之间的共享.今天我将把如何在linux系统搭建nfs服务器的步骤分享出来,供大家参考. 搭建步骤 1.安装nfs所需软件包 yum install rpcbind nfs-utils 2.创建测试文件并赋权限 mkdir /home/test chmod -R 777 /home/test/ cd /home/test/ vim aaa/

  • linux搭建squid代理服务器的完整步骤

    前言 本文主要给大家介绍了关于 linux 搭建squid代理服务器的相关内容,下面话不多说了,来一起看看详细的介绍吧 实验环境: 一台linux搭建Web服务器,充当内网web服务器(同时充当内网客户端) 202.100.10.100 一台linux系统充当网关服务器,两个网卡,开启路由转发 192.168.133.131和202.100.10.1 一台linux搭建Web服务器,充当外网web服务器(同时充当外网客户端)) 192.168.133.131 实验步骤: 1.配置内网web服务器

  • linux 搭建svn服务器的方法步骤

    一:安装svn yum install -y subversion 二:创建仓库 1:创建仓库目录 mkdir -p /var/project/test 2:创建仓库 svnadmin create /var/project/test 创建成功后,在/var/project/test目录下如下目录: drwxr-xr-x. 2 root root 51 1月 30 13:26 conf drwxr-sr-x. 6 root root 4096 1月 30 13:26 db -r--r--r--.

  • Windows Server 2012搭建文件服务器的详细步骤

    文件服务器是企业里面用的最多的服务器之一,它主要用于提供文件共享. 下面我们一步一步来搭建它~ 1. 打开Windows server管理面板,选择添加角色和功能 到服务器角色这一步的时候,选中文件服务器和文件服务器资源管理器 下一步至安装,等待安装完成,安装完可能需要重启 安装完成后在服务器管理界面会有一个文件和储存服务 打开文件和存储服务--共享--点击若要创建文件共享,请启动新加共享向导 五种方式的共享方式: SMB共享-快速 最简单的方式,类似于简单共享,且类似于public目录,就是所

  • Linux搭建C++开发调试环境的方法步骤

    安装g++ Linux编译C++程序必须安装g++编译器.这里使用yum方式安装.首先切换到root账号,su - root 然后输入密码. 执行yum install gcc-c++(注意不是yum install g++),报错. 报错是因为yum需要配置正确的服务器地址,服务器是提供yum安装包的,也被称作yum源.配置yum源的配置文件在/etc/yum.repos.d/目录下,可以看到系统自带了两个文件. cat 文件名称,会打印文件全部内容.可以看到两个文件要么没配置,要么地址是无法

  • linux下FastDFS搭建图片服务器

    目录 服务器规划 一.安装系统组件 二.安装fastdfs 三.配置图片服务器文件 总结 服务器规划 服务器名称 IP地址和端口 备注 fastdfs-tracker *:22122 跟踪服务器/调度服务器 fastdfs-storage *:23000 存储服务器 一.安装系统组件 yum install gcc -y 二.安装fastdfs 1.创建图片服务器存储目录 mkdir -p /data/image 2.下载FastDFS依赖包libfastcommon并安装 wget https

随机推荐