理解web服务器和数据库的负载均衡以及反向代理
但是若该网站平均每秒的请求是200多次，那么问题就来了：这已经是最好的web服务器了，我该怎么办？同样的情景也适用于数据库。要解决这种问题，就需要了解“负载均衡”的原理了。
web服务器如何做负载均衡
为web服务器做负载均衡适用的的较多的方式是DNS重定向和反向代理，其他的方式原理也是很类似。
我们多次ping一下百度，会发现回复的IP会有所不同，例如第一次的结果为：
代码如下:
正在 Ping baidu.com [220.181.111.86] 具有 32 字节的数据:
来自 220.181.111.86 的回复: 字节=32 时间=27ms TTL=51
来自 220.181.111.86 的回复: 字节=32 时间=27ms TTL=51
来自 220.181.111.86 的回复: 字节=32 时间=27ms TTL=51
正在 Ping baidu.com [220.181.111.85] 具有 32 字节的数据:
来自 220.181.111.85 的回复: 字节=32 时间=27ms TTL=51
来自 220.181.111.85 的回复: 字节=32 时间=27ms TTL=51
来自 220.181.111.85 的回复: 字节=32 时间=29ms TTL=51
使用nslookup命令可以看到多个ip与baidu.com对应。在这里用到的就是DNS重定向技术，原理很简单：DNS服务器保存某域名对应的多个IP，客户端发出DNS请求时DNS服务器根据算法将IP发回给客户端；发送回的一般是一个IP地址集合，但是每次的排序不同，第一次的第一个IP为201.11.11.1，第二次的第一个可能是201.11.11.2，客户端使用的是第一个IP——简单地说，就是客户端每次获取的域名的IP可能不同。不同的IP对应不同的web服务器，但是这些web服务器的内容应该是一样的。
我们从下图理解反向代理：
客户端向反向代理发送HTTP请求报文（若该网站有域名，域名的IP是反向代理服务器的外网IP），反向代理将请求报文随机发送给一个web服务器，web服务器将HTTP响应报文发送给反向代理，反向代理再将这报文返回给客户端。既然这样简单，我们就可以着手实现一个简单的反向代理。
在linux mint 15 下安装apache和nginx服务器，在apache的80端口的文档根目录下创建文件index.html，内容如下：
代码如下:
<html>
<head>
<title>index</title>
</head>
<body>
<h1>hello, i am apache</h1>
</body>
</html>
在nginx的8080端口的文档根目录下创建文件index.html，内容如下：
代码如下:
<html>
<head>
<title>index</title>
</head>
<body>
<h1>hello, i am nginx</h1>
</body>
</html>
创建源文件simple_reverse_proxy.py，内容如下：
代码如下:
#!/usr/bin/python
#-*-encoding:utf8-*-
'''
这是一个简单的反向代理服务器
'''
import BaseHTTPServer
import urllib2
HOST_NAME = '127.0.0.1'
PORT_NUMBER = 8081 #端口
SERVER_URL=('http://127.0.0.1:80','http://127.0.0.1:8080')
server_choice = 0
class MyHandler(BaseHTTPServer.BaseHTTPRequestHandler):
def do_GET(s):
"""response to a GET request"""
global server_choice
url = SERVER_URL[server_choice]
print url
server_choice = (server_choice + 1) % 2
headers = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'}
try:
req = urllib2.Request(url, None, headers)
response = urllib2.urlopen(req)
html = response.read()
#print html
s.send_response(200);
s.send_header("Content-type", "text/html")
s.end_headers()
s.wfile.write(html)
except:
s.send_response(404);
s.send_header("Content-type", "text/html")
s.end_headers()
s.wfile.write('<h2>404</h2>')
if __name__ == '__main__':
server_class = BaseHTTPServer.HTTPServer
httpd = server_class((HOST_NAME, PORT_NUMBER), MyHandler)
try:
httpd.serve_forever()
except KeyboardInterrupt:
pass
httpd.server_close()
启动apache、nginx，并运行simple_reverse_proxy.py。我们在浏览器中打开http://127.0.0.1:8081，我们可以看到：
刷新一下可以看到：
而simple_reverse_proxy.py会有以下信息输出：
代码如下:
bash >> ./simple_reverse_proxy.py
http://127.0.0.1:80
127.0.0.1 - - [05/Sep/2013 19:25:02] "GET / HTTP/1.1" 200 -
http://127.0.0.1:8080
127.0.0.1 - - [05/Sep/2013 19:25:43] "GET / HTTP/1.1" 200 -
当然，开源世界里已经有很多优秀的反向代理服务器了，例如Nginx。
只要理解了反向代理的原理，更复杂的架构也容易去实现。
数据库的负载均衡
对于大型网站，一个数据库系统肯定会遇到无法负担大量的读请求、写请求的情况。那么我们怎么来通过负载均衡来实现高并发的读写请求呢？
这其中一个很好的方法就是读写分离：将原本针对一个数据库服务器的读写请求分成读请求和写请求，向一个（或者多个）数据库服务器发送写请求，向另外一个（或多个）服务器发送读请求，这可以明显的提高响应时间。不过其中有一个难点，就是必须保持多个数据库服务器中的数据是一致的，不用担心，很多数据库系统已经实现了这个功能。下面是一个架构示例：
上图中其实有一个写写冲突的问题，想象以下场景：
该系统用于存放某网站的用户注册信息，该网站不允许用户名相同，且以用户名为唯一主键，所以在单数据库架构中必须涉及到事务的处理。现在在这个负载均衡的数据库架构中，用户A要注册用户名为xiaoming，这个写请求分配给了db server 1；与此同时用户B同样注册用户名xiaoming，如果写请求分配给了db server1，就不会有问题发生，可是如果分配给db server 2呢？两个db server分别存放了不同用户的用户名相同的用户信息！解决的方法很简单，写请求的分配不能用随机算法，应该使用哈希映射，例如注册的用户名首字母为x时，写请求分配各 db server2，其他写请求一律分配给db server 1。
另外一个问题，这种架构为开发应用提供了很大的灵活性，就是这种架构不适用于某些ORM框架，解决方法就是在这个架构上再加上一层——“数据库代理”。例如对于MySQL，就有MySQL Proxy这样的解决方案。
相关推荐
-
数据库服务器构建和部署检查列表详解
前言 我们可能经常安装和部署数据库服务器,但是可能突然忘记了某个设置,为后来的运维造成隐患.下面是国外大牛整理的的检查列表. 其实也包含了很多我们平时数据库配置的最佳实践.比如TEMPDB 文件的个数,比如数据库文件,日志文件如何存放,最大内存的设置等等.如果有补充的欢迎留言 正文 1. 机架和电缆服务器 确保每个电源插入不同的电源电路 果可能,请确保网络电缆已插入不同的网络交换机 2.SQL Server服务和SQL Server代理服务的使用域帐户. 在SQL Server 2012安装期间
-
SQLSERVER简单创建DBLINK操作远程服务器数据库的方法
本文实例讲述了SQLSERVER简单创建DBLINK操作远程服务器数据库的方法.分享给大家供大家参考,具体如下: --配置SQLSERVER数据库的DBLINK exec sp_addlinkedserver @server='WAS_SMS',@srvproduct='',@provider='SQLOLEDB',@datasrc='10.131.20.100' exec sp_addlinkedsrvlogin 'WAS_SMS','false', NULL,'CustomSMS','Sql
-
mysql自动定时备份数据库的最佳方法(windows服务器)
网上有很多关于window下Mysql自动备份的方法,可是真的能用的也没有几个,有些说的还非常的复杂,难以操作. 我们都知道mssql本身就自带了计划任务可以用来自动备份,可是mysql咱们要怎么样自动有备份呢? 教大家一个最简单的方法. 这个方法是用bat批处理来完成的. 假想环境:MySQL 安装位置:D:\Program Files\MySQL\MySQL Server 5.0\data 如图: 数据库名称为:952game数据库备份目的地:d:\db_bak\ (你想把数据库备份到哪个盘
-
c#获得目标服务器中所有数据库名、表名、列名的实现代码
复制代码 代码如下: /// <summary> /// 获得目标服务器所有数据库名 /// </summary> /// <param name="serverName"></param> /// <param name="userName"></param> /// <param name="passwor
-
在Tomcat服务器下使用连接池连接Oracle数据库
下面介绍在Tomcat服务器下使用连接池来连接数据库的操作 一:修改web.xml文件: 复制代码 代码如下: <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:
-
理解web服务器和数据库的负载均衡以及反向代理
但是若该网站平均每秒的请求是200多次,那么问题就来了:这已经是最好的web服务器了,我该怎么办?同样的情景也适用于数据库.要解决这种问题,就需要了解"负载均衡"的原理了. web服务器如何做负载均衡 为web服务器做负载均衡适用的的较多的方式是DNS重定向和反向代理,其他的方式原理也是很类似. 我们多次ping一下百度,会发现回复的IP会有所不同,例如第一次的结果为: 复制代码 代码如下: 正在 Ping baidu.com [220.181.111.86] 具有 32 字节的数据:
-
Nginx配置参数中文说明详解(负载均衡与反向代理)
PS:最近在看<<高性能Linux服务器构建实战>>的Nginx章节,对其nginx介绍的非常详细,现把经常用到的Nginx配置参数中文说明摘录和nginx做负载均衡的本人真实演示实例抄录下来以便以后查看! Nginx配置参数中文详细说明 #定义Nginx运行的用户和用户组 user www www; # #nginx进程数,建议设置为等于CPU总核心数. worker_processes 8; # #全局错误日志定义类型,[ debug | info | notice | war
-
Spring boot2X负载均衡和反向代理实现过程解析
这篇文章主要介绍了Spring boot2X负载均衡和反向代理实现过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 zuul 是netflix开源的一个API Gateway 服务器 所有从设备或网站来的请求都会经过Zuul到达后端的Netflix应用程序. 作为一个边界性质的应用程序,Zuul提供了动态路由.监控.弹性负载和安全功能. 实现反向代理 1.服务注册发现中心Consul 启动 consul agent -dev 2.服务端
-
详解 Nginx 负载均衡和反向代理配置和优化
Nginx 负载均衡和反向代理配置和优化 DNS 轮询方式: 介绍: DNS 轮询是指一个域名可以绑定到多个的 ip 服务器上, 用户在访问的时候 dns轮询访问这几个 ip 的服务器, 达到负载均衡的目的. 可以使用 linux 命令 dig domain 来查看情况. 缺点: 1. 可靠性低. 如果某一个服务器宕机了, 那么dns 在轮询到这个服务器的话是不会有响应的,即使去掉此 ip , 那么个电信服务商的 dns 是存在缓存, 在一定的时间内也是可以访问到此服务器的.尽管在一定程度上解决
-
关于nginx负载均衡和反向代理的讲解
目录 负载均衡 负载均衡分类 1.DNS负载均衡 2.IP负载均衡 3.链路层负载均衡 4.混合型负载均衡 负载均衡算法 1 轮询 2 随机 3 最少链接 4 Hash(源地址散列) 5 加权 反向代理 负载均衡 负载均衡是有多台服务器以对称的方式组成一个服务器集合,每台服务器都能具有等价的地位,都可以单独对外提供服务而无需其他服务器辅助.通过某种负载分担技术,将外部发送来的请求均匀分配到对称结构中的某一台服务器上,而接收到请求的服务器独立地相应用户的请求.均衡负载能够平均分配呵护请求到服务器阵
-
详解Nginx HTTP负载均衡和反向代理配置
当前大并发的网站基本都采用了Nginx来做代理服务器,并且做缓存,来扛住大并发.先前也用nginx配置过简单的代理,今天有时间把整合过程拿出来和大家分享,不过其中大部分也是网上找来的资源. nginx完整的反向代理代码如下所示 : [root@data conf]# vim nginx.conf user www www; worker_processes 10; error_log /var/log/nginx/nginx_error.log; pid logs/nginx.pid; wor
-
LVS(Linux Virtual Server)Linux 虚拟服务器介绍及配置(负载均衡系统)
一,简介 LVS(Linux Virtual Server) 是Unix-like系统中的一个虚拟服务器,是国内贡献给开源组织的一个最优秀的项目之一.LVS在Unix-like系统中 是作为一个前端(Director)存在的,又称为调度器,它本身不提供任何的服务,只是将通过互联网进来的请求接受后再转发给后台运行的真正的 服务器(RealServer)进行处理,然后响应给客户端. LVS有两个重要的组件:一个是IPVS,一个是IPVSADM.ipvs是LVS的核心组件,它本身只是一个框架,类似于i
-
服务器负载均衡是什么意思（服务器负载均衡的基本功能和实现原理）
什么是负载均衡? 负载均衡是由多台服务器以对称的方式组成一个服务器集合,每台服务器都具有等价的地位,都可以单独对外供应效力而无须其他服务器的辅助.经过某种负载分管技术,将外部发送来的央求均匀分配到对称结构中的某一台服务器上,而接收到央求的服务器独登时回应客户的央求.均衡负载可以平均分配客户央求到服务器列阵,籍此供应快速获取重要数据,解决很多并发访问效力问题.这种群集技术可以用最少的出资取得接近于大型主机的性能. 负载均衡的类型 根据DNS的负载均衡 经过DNS效力中的随机姓名解析来完结负载均衡,
-
Golang项目搭配nginx部署反向代理负载均衡讲解
目录 部署Go语言项目 独立部署 编译 nohup supervisor 搭配nginx部署 正向代理与反向代理 使用yum安装nginx Nginx配置文件 Nginx常用命令 Nginx反向代理部署,无负载均衡 Nginx反向代理部署,有负载均衡 Nginx分离动静态文件请求 前后端分开部署 允许所有请求跨域 部署Go语言项目 本文以部署 Go Web 程序为例,介绍了在 CentOS7 服务器上部署 Go 语言程序的若干方法. 独立部署 Go 语言支持跨平台交叉编译,也就是说我们可以在 W
-
CentOS基于nginx反向代理实现负载均衡的方法
本文实例讲述了CentOS基于nginx反向代理实现负载均衡的方法.分享给大家供大家参考,具体如下: nginx做负载均衡的优点: 1.工作在网络的7层之上,可以针对http应用做一些分流的策略,比如针对域名.目录结构,它的正则规则比HAProxy更为强大和灵活,这也是它目前广泛流行的主要原因之一,nginx单凭这点可利用的场合就远多于LVS了 2.nginx对网络稳定性的依赖非常小,理论上能ping通就就能进行负载功能,这个也是它的优势之一:相反LVS对网络稳定性依赖比较大,这点本人深有体会