Nginx反向代理至go-fastdfs案例讲解

2024-12-04 07:16:51

背景

go-fastdfs是支持http协议的一款分布式文件系统，在一般的项目中，很少是直接将文件系统的地址暴露出来的，大多数都会通过nginx等软件进行反代过去，由于我司的业务和网络环境场景相对特殊，由公网部分(公有云)和内网部分(私有云)组成的混合云网络体系，公有云主要就是作为一个出口和入口以及运行一些审计认证等应用，对上游请求进行处理，从而减少私有云的处理次数，提升性能。那么也正是因为这样，在公网的环境下，要访问到私有云提供的服务则必须使用反向代理。同样道理，对于文件系统的访问也如此，如何在nginx中进行配置才能使得外部的网络请求可以反向代理到go-fastdfs呢？本文将逐步阐述。

一般配置

在一般的情况下，熟悉nginx的朋友都知道，如果需要配置反向代理，直接写一个location上下文和proxy模块即可，如果需要自定义前缀，使用一个rewrite模块即可。简单例子如下：

location ~ /dfs/group([0-9]) {
	proxy_pass http://localhost:8080;
	rewrite ^/dfs/(.*)$ /$1 break;
	proxy_set_header Host $host:$server_port;
	proxy_set_header X-Real-IP $remote_addr;
	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

到这里，一般的反代配置就算是可以了，那么对于go-fastdfs而言是否可以了呢？对于go-fastdfs一般上传是可以了，但是呢，对于使用了tus做断点续传还是不够，为什么呢？因为tus服务端会返回301重定向，并且需要携带一定的请求头过去，所以还需要特别的设置一下。

支持Tus的反代配置

如果需要做tus的反代，要支持301重定向Location的重写还要支持一定的请求头转发，那该如何配置呢？请参考下面的配置

ocation ~ /dfs1/group([0-9]) {
	access_log logs/dfs/access.log main;
	error_log logs/dfs/error.log error;
	rewrite ^/dfs1/(.*)$ /$1 break;
	proxy_pass http://localhost:8051;
	# Disable request and response buffering
	proxy_request_buffering off;
	proxy_buffering off;
	proxy_http_version 1.1;
	proxy_set_header Host $host:$server_port;
	proxy_set_header X-Real-IP $remote_addr;
	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
	# 如果server_name不是公网域名，这个地方可以设置成ip
	proxy_set_header X-Forwarded-Host $hostname;
	proxy_set_header X-Forwarded-Proto $scheme;
	proxy_set_header Upgrade $http_upgrade;
	proxy_set_header Connection "upgrade";
	# 因为使用了前缀加rewrite，所以要修改返回的Location加上反向代理的前缀
	proxy_redirect ~^(.*)/group([0-9])/big/upload/(.*) /dfs/group$2/big/upload/$3;
	client_max_body_size 0;
}

上面要注意一下就是proxy_redirect和client_max_body_size这两个配置，第一个配置是因为tus服务端返回的重定向Location是不会携带自定义前缀的，因此需要自己加入自定义的前缀，我这里是/dfs,如果是别的，更换下就好。第二个就是client_max_body_size了，这个是设置为0表示不管上传多大的文件都不会报request too large的问题，直接转发过去，如果需要设置，那么请设置大于等于chunkSize的数字。什么是chunkSize?就是tus客户端分块上传的时候，每一块的大小，具体请参考官方文档。

负载均衡配置

在配置了集群服务器的情况下，上传或者下载如何进行负载均衡呢？使用nginx做了反代，配合upstream模块就可以实现了，具体参考如下配置

upstream dfs_stream {
	server host1:port;
	server host2:port;
	ip_hash;
}

上面的配置和一般的负载均衡没有什么不一样，唯一要注意的是要配置ip_hash，为什么呢？因为使用断点续传的时候，文件是分块上传的，如果不是ip_hash的话，有可能会前面几片被上传到A服务器，后面几片被上传到B服务器，那么这样子文件就不是完整的了，因此需要注意这个问题。

到此这篇关于Nginx反向代理至go-fastdfs案例讲解的文章就介绍到这了,更多相关Nginx反向代理至go-fastdfs内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

Nginx反向代理配置的全过程记录

一.准备工作 Linux系统安装Tomcat,使用默认端口8080,启动Tomcat服务器可以正常访问接下来想要通过Nginx反向代理,转发请求到Tomcat服务器.对外暴露的是Nginx反向代理服务器的端口号,而Tomcat不对外暴露.浏览器不能直接访问到Tomcat,而是通过Nginx反向代理服务器才能访问到Tomcat 二.反向代理配置在Windows系统的host文件进行域名和IP地址映射关系的配置可以通过域名8080端口访问到Tomcat服务器然后在Nginx进行请求转发的配
nginx 反向代理之 proxy_pass的实现

格式很简单: proxy_pass URL; 其中URL包含:传输协议(http://, https://等).主机名(域名或者IP:PORT).uri. 示例如下: proxy_pass http://www.xxx.com/; proxy_pass http://192.168.200.101:8080/uri; proxy_pass unix:/tmp/www.sock; 对于proxy_pass的配置有几种情况需要注意: 假设server_name为www.xxx.com 当请求http
Nginx反向代理多个服务器的实现方法

Nginx反向代理多个服务器,意思是说,当我们发起了不同的请求到nginx,nginx会根据请求的不同,转发到不同的服务器,如下图,当我们通过8000端口访问资源a时,nginx会将请求转发到8080服务器,当访问资源b时,会转发到8081服务器我们先做下准备工作,首先准备两个tomcat服务器,分别是8080端口和8081端口,8080端口是默认的,这里进行修改8081的端口,首先我们进入tomcat下的conf目录下,进入server.xml文件进行如下两个地方的修改一.修改shutdo
Nginx的反向代理实例详解

一.反向代理实例 1 1.实现效果 (1)打开浏览器,在浏览器中输入www.123.com,跳转到linux系统tomcat主页面. 2.具体配置 (1)在windows系统的host文件进行域名和ip对应关系 (2)在Nginx进行请求注意: 端口乤对外开放. 二.反向代理实例 2 1.实现效果 (1)使用Nginx反向代理,根据访问的路径跳转到不同端口的服务中,Nginx监听端口为8001. 访问 http://127.0.0.1:9001/deu/ 直接跳转到127.0.0.1:801
本地通过nginx配置反向代理的全过程记录

前言 Nginx是一款轻量级的HTTP服务器,采用事件驱动的异步非阻塞处理方式框架,这让其具有极好的IO性能.我们在日常开发中使用到Nginx的主要有以下几个场景: Nginx作为http服务器跨域请求负载均衡网络资源的动静分离作为前端,我们主要是关注前两个场景一.下载安装点此下载 ,下载完成后解压,解压后文件如下: 解压(双击nginx.exe,双击后一个黑色的弹窗一闪而过) 找到nginx解压目录下,鼠标右键,找到git bash打开,输入命令start ./nginx.exe回
nginx作grpc的反向代理踩坑总结

背景众所周知,nginx是一款高性能的web服务器,常用于负载均衡和反向代理.所谓的反向代理是和正向代理相对应,正向代理即我们常规意义上理解的"代理":例如正常情况下在国内是无法访问google的,如果我们需要访问,就需要通过一层代理去转发.这个正向代理代理的是服务端(也就是google),而反向代理则相反,代理的是客户端(也就是用户),用户的请求到达nginx后,nginx会代理用户的请求向实际的后端服务发起请求,并将结果返回给用户. (图片来自维基百科) 正向代理和反向代理实际上
nginx反向代理时如何保持长连接

·[场景描述] HTTP1.1之后,HTTP协议支持持久连接,也就是长连接,优点在于在一个TCP连接上可以传送多个HTTP请求和响应,减少了建立和关闭连接的消耗和延迟. 如果我们使用了nginx去作为反向代理或者负载均衡,从客户端过来的长连接请求就会被转换成短连接发送给服务器端. 为了支持长连接,我们需要在nginx服务器上做一些配置. ·[要求] 使用nginx时,想要做到长连接,我们必须做到以下两点: 从client到nginx是长连接从nginx到server是长连接对于客户端而言,n
nginx反向代理配置去除前缀案例教程

使用nginx做反向代理的时候,可以简单的直接把请求原封不动的转发给下一个服务.设置proxy_pass请求只会替换域名,如果要根据不同的url后缀来访问不同的服务,则需要通过如下方法: 方法一:加"/" server { listen 8000; server_name abc.com; access_log "pipe:rollback /data/log/nginx/access.log interval=1d baknum=7 maxsize=1G" mai
Nginx反向代理至go-fastdfs案例讲解

背景 go-fastdfs是支持http协议的一款分布式文件系统,在一般的项目中,很少是直接将文件系统的地址暴露出来的,大多数都会通过nginx等软件进行反代过去,由于我司的业务和网络环境场景相对特殊,由公网部分(公有云)和内网部分(私有云)组成的混合云网络体系,公有云主要就是作为一个出口和入口以及运行一些审计认证等应用,对上游请求进行处理,从而减少私有云的处理次数,提升性能.那么也正是因为这样,在公网的环境下,要访问到私有云提供的服务则必须使用反向代理.同样道理,对于文件系统的访问也如此,如何
Nginx反向代理+DNS轮询+IIS7.5 千万PV 百万IP 双线网站架构案例

Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器. Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,它已经在该站点运行超过两年半了.Igor 将源代码以类BSD许可证的形式发布. Nginx 的中文维基:http://wiki.codemongers.com/NginxChs 在高并发连接的情况下,Nginx是Apache服务器不错的替代品.Nginx
详解Nginx 反向代理、负载均衡、页面缓存、URL重写及读写分离详解

注,操作系统为 CentOS 6.4 x86_64 , Nginx 是版本是最新版的1.4.2,所以实验用到的软件请点击这里下载: CentOS 6.4下载地址:http://www.jb51.net/softs/78243.html Nginx下载地址:http://www.jb51.net/softs/35633.html 一.前言在前面的几篇博文中我们主要讲解了Nginx作为Web服务器知识点,主要的知识点有nginx的理论详解.nginx作为web服务器的操作讲解.nginx作为LNM
浅谈nginx反向代理中神奇的斜线

在进行nginx反向代理配置的时候,location和proxy_pass中的斜线会造成各种困扰,有时候多一个或少一个斜线,就会造成完全不同的结果,所以特地将location和proxy_pass后有无斜线的情况进行了排列组合,进行了一次完整的测试,找出原理,以提高姿势水平~ 〇. 环境信息两台nginx服务器 nginx A: 192.168.1.48 nginx B: 192.168.1.56 一. 测试方法在nginx A中配置不同的规则,然后请求nginx A: http://192
Nginx反向代理学习实例教程

目录一.反向代理准备工作 1.在linux系统中安装Tomcat 2.启动tomcat 3.对外开放访问的端口 4.测试访问tomcat 二.反向代理案例(一) 1.实现效果 2.具体配置 3.测试二.反向代理案例(二) 实现效果 1.准备工作 2.具体配置 location 指令说明最终测试总结一.反向代理准备工作 1.在linux系统中安装Tomcat 将tomcat解压到/usr/src下.启动需要jdk环境.没有jdk环境的装一下,我centos7自带jdk1.8. 2.启动t
Nginx反向代理与负载均衡概念理解及模块使用

目录 Nginx负载均衡概念 upstream模块的使用方法 upstream模块说明 http_proxy_module模块完整的案例 Nginx负载均衡概念准确来说,Nginx是作为Nginx Proxy反向代理使用的,因为这个反向代理功能表现出负载均衡的效果,所以称之为Nginx负载均衡.实现负载均衡的效果主要依赖两个组件: ngx_http_proxy_module ngx_http_upstream_module 前者是proxy代理模块,用于把请求传给服务器节点或upstream
nginx反向代理踩坑实战记录(容器方式)

目录一.简述 1.1 什么是反向代理? 1.2 看图理解 1.3 错误总结二.正确案例 2.1 启动nginx 2.3 配置nginx 2.4 重启所有服务 2.5 测试三.云服务器上跑的nginx怎么代理本地项目总结一.简述 1.1 什么是反向代理? 这很重要,反向代理就是代理服务器代理真实服务器.客户端以为代理服务器就是真实服务器,所以就会把要请求的==资源(URL)==发给代理服务器. 代理服务器一般是由nginx来充当,代理功能由配置文件来完成. 1.2 看图理解画的仓促,大
Nginx反向代理一个80端口下配置多个微信项目详解

Nginx反向代理一个80端口下配置多个微信项目详解我们要接入微信公众号平台开发,需要填写服务器配置,然后依据接口文档才能实现业务逻辑.但是微信公众号接口只支持80接口(80端口).我们因业务需求需要在一个公众号域名下面,发布两个需要微信授权的项目,怎么办? 我们可以用nginx服务器做反向代理来解决这个问题.nginx服务器对外80端口,然后根据URL参数不同,对内访问不同的项目. nginx配置如下: 打开/usr/local/nginx/conf/nginx.conf worker_pr
Nginx反向代理websocket配置实例

最近有一个需求,就是需要使用 nginx 反向代理 websocket,经过查找一番资料,目前已经测试通过,本文只做一个记录复制代码代码如下: 注: 看官方文档说 Nginx 在 1.3 以后的版本才支持 websocket 反向代理,所以要想使用支持 websocket 的功能,必须升级到 1.3 以后的版本,因此我这边是下载的 Tengine 的最新版本测试的 1.下载 tengine 最近的源码复制代码代码如下: wget http://tengine.taobao.org/dow

Nginx反向代理至go-fastdfs案例讲解

相关推荐

随机推荐