利用python自动生成docker nginx反向代理配置

利用python自动生成docker nginx反向代理配置

由于在测试环境上用docker部署了多个应用,而且他们的端口有的相同,有的又不相同,数量也比较多,在使用jenkins发版本的时候,不好配置,于是想要写一个脚本,能在docker 容器创建、停止的时候,自动生成nginx反向代理,然后reload nginx

我的原则是尽量简单,轻量,内存占用少

目标很明确,只要能监听到docker的容器启动/停止事件,即可

网上查了一下可以用docker events来监听docker事件,试了一下,发现基本可以满足,于是用python写了一段程序,用来监听docker事件

python

#!/usr/bin/python
# coding: utf8
import os
import json
import re
import subprocess

def override(path, text):
  if not os.path.exists(path) and os.path.exists(path+"_temp"):
    os.rename(path+"_temp",path)
  fw = open(path+"_temp", 'wb')
  fw.write(text)
  fw.close()
  if os.path.exists(path):
    os.remove(path)
  os.rename(path+"_temp", path)

def read(path):
  try:
    fr = open(path, "rb")
  except IOError:
    print "The file don't exist, Please double check!"
    return
  lines = fr.readlines()
  ret = ''
  for line in lines:
    ret += line
  return ret

def read_jsonfile(path):
  return json.loads(read(path))

def cmd(command):
  return os.popen(command).read()

def get_name(container):
  return cmd("docker inspect -f '{{.Name}}' " + container).replace("/", "").replace('\n', '')

def get_ip(container):
  return cmd("docker inspect -f '{{.NetworkSettings.IPAddress}}' " + container).replace('\n', '')

def get_port(container):
  return cmd("docker inspect -f '{{.Config.ExposedPorts}}' " + container).replace('/tcp:{}]', '').replace('map[', '').replace('\n', '')

def get_info(container):
  filename = "/var/lib/docker/containers/" + container + "/config.v2.json"
  config = read_jsonfile(filename)

  name = config['Name'].replace("/", "")
  port = config['Config']['ExposedPorts'].keys()[0].replace('/tcp', '')
  ip = cmd("docker inspect -f '{{.NetworkSettings.IPAddress}}' " + name)
  # ip = config['NetworkSettings']['Networks']['bridge']['IPAddress']

  ret = {'name': name, 'port': port, 'ip': ip}
  return ret

tpl = """
  server {
    listen 80;
    server_name $name.test.com;
    location / {
    proxy_set_header X-Real-IP $remote_addr;
      proxy_set_header Host $http_host;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_pass http://$ip:$port;
    }
  }
"""

def generate_conf():
  print "generate_conf"
  out = cmd("docker ps | grep -v CONTAINER | awk '{print $1}'")
  containers = out.split("\n")
  servers = ''
  hosts = ''
  for con in containers:
    if con != '':
      name = get_name(con)
      ip = get_ip(con)
      port = get_port(con)
      print ip, port
      if len(port) >= 2:
        servers += tpl.replace("$name", name).replace("$ip", ip).replace("$port", port)
        hosts += "11.12.13.14 " + name + ".test.com\n"
  override('/usr/local/openresty/nginx/conf/vhost.conf', servers)
  override('/usr/local/openresty/nginx/html/vhost.html', "<pre>" + hosts + "</pre>")

def reload_nginx():
  print "reload nginx"
  cmd('nginx -s reload')

def auto_reload():
  generate_conf()
  reload_nginx()

print " ==================== docker events ==================== "

# auto_reload()

proc = subprocess.Popen(["docker", "events"],
            # shell=True,  # windows: true, linux: false
            stdout=subprocess.PIPE)

while 1:
  out = proc.stdout.readline()
  event = re.sub('\(|\)', "", out).split(" ")
  if out.find('container stop') != -1:
    auto_reload()
    print ' container stop '
  elif out.find('container start') != -1:
    auto_reload()
    print ' start container '
  if out == '':
    print "out "
    break

启动命令:

nohup ./docker.py > /dev/null 2>&1 &

程序会在后台运行,断开ssh也不会结束

主要就是生成一个 conf 文件,这个文件要在nginx.conf里面引入,然后每次有容器启动/停止都生成这个文件,然后重启nginx,我这了还把容器名加上一个域名,组合成了一个子域名,然后把对应的映射关系生成了一个html文件,通过浏览器可以访问这个文件,然后把对应的代码 复制到本机的 hosts 文件里面,可以实现通过域名访问应用,当然只是开发测试的时候会这么做,但是也足够了。

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

(0)

相关推荐

  • Docker-client for python详解及简单示例

    Docker-client for python使用指南: 客户端初始化的三种方法 import docker docker.api() docker.APIClient() docker.client() docker.DockerClient() 其实也是docker.client()的一个子集 docker.from_env() 其实就是docker.client()的一个子集 一.初始化客户端 1.Docker客户端的初始化工作 >>> import docker >>

  • python脚本监控docker容器

    本文实例为大家分享了python脚本监控docker容器的方法,供大家参考,具体内容如下 脚本功能: 1.监控CPU使用率 2.监控内存使用状况 3.监控网络流量 具体代码: #!/usr/bin/env python # --*-- coding:UTF-8 --*-- import sys import tab import re import os import time from docker import Client import commands keys_container_st

  • Docker 打包python的命令详解

    最近用Python写了一段爬虫程序,为了隔离其运行环境,易于分发,把项目打包成Docker镜像 Dockerfile FROM python:2.7.12-alpine ADD ./src /job CMD ["python", "/job/main.py"] 构建命令 $ docker build -t job . 运行 $ docker run -d --name job job 比较简单 以上所述是小编给大家介绍的Docker 打包python的命令详解,希望

  • 使用Docker开发python Web 应用

    本文中,我将尝试展示用Docker开发python应用(主要是Web应用)的可行方法.虽然我本人专注于Python的Flask微框架,但本文目的是演示如何通过Docker更好地开发和共享应用程序,(由任何语言和框架开发的应用程序).Docker通过封装依赖项,大大减少了开发环境和正式产品的差距. 大多数Python开发人员在开发中使用virtualenv.它提供了一种易用的机制让应用程序使用自己专用的依赖项,这些依赖项可能与在其它应用程序或操作系统存在冲突(尤其是不同的Pyhton版本,还有不同

  • 使用IPython来操作Docker容器的入门指引

    现在Docker是地球上最炙手可热的项目之一,就意味着人民实际上不仅仅是因为这个才喜欢它. 话虽如此,我非常喜欢使用容器,服务发现以及所有被创造出的新趣的点子和领域来切换工作作为范例. 这个文章中我会简要介绍使用python中的docker-py模块来操作Docker 容器,这里会使用我喜爱的编程工具IPython. 安装docker-py 首先需要docker-py.注意这里的案例中我将会使用Ubuntu Trusty 14.04版本. $ pip install docker-py IPyh

  • docker python如何实现打包的方法

    最近用Python写了一段爬虫程序,为了隔离其运行环境,易于分发,把项目打包成Docker镜像 Dockerfile FROM python:2.7.12-alpine ADD ./src /job CMD ["python", "/job/main.py"] 构建命令 $ docker build -t job . 运行 $ docker run -d --name job job 比较简单 感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

  • 在Docker上开始部署Python应用的教程

    几周前, Elastic Beanstalk声明在AWS云中配置和管理Docker容器.在本文中,我们通过一个简单的注册表单页面应用去理解Docker部署过程,该表单使用Elastic Beanstalk Python环境. 关于注册表单应用 几个月之前,我们就已经开发完这个应用并且发表在博客上.有4部分视频和一篇文章"Using DynamoDB and SNS with Elastic Beanstalk in any Supported AWS Region".今天,我们将在这部

  • 详解在Python和IPython中使用Docker

    现在Docker是地球上最炙手可热的项目之一,就意味着人民实际上不仅仅是因为这个才喜欢它. 话虽如此,我非常喜欢使用容器,服务发现以及所有被创造出的新趣的点子和领域来切换工作作为范例. 这个文章中我会简要介绍使用python中的docker-py模块来操作Docker 容器,这里会使用我喜爱的编程工具IPython. 安装docker-py 首先需要docker-py.注意这里的案例中我将会使用Ubuntu Trusty 14.04版本. 复制代码 代码如下: $ pip install doc

  • 在Docker上部署Python的Flask框架的教程

    本文中,我将尝试展示用Docker开发python应用(主要是Web应用)的可行方法.虽然我本人专注于Python的Flask微框架,但本文目的是演示如何通过Docker更好地开发和共享应用程序,(由任何语言和框架开发的应用程序).Docker通过封装依赖项,大大减少了开发环境和正式产品的差距. 大多数Python开发人员在开发中使用virtualenv.它提供了一种易用的机制让应用程序使用自己专用的依赖项,这些依赖项可能与在其它应用程序或操作系统存在冲突(尤其是不同的Pyhton版本,还有不同

  • 利用python自动生成docker nginx反向代理配置

    利用python自动生成docker nginx反向代理配置 由于在测试环境上用docker部署了多个应用,而且他们的端口有的相同,有的又不相同,数量也比较多,在使用jenkins发版本的时候,不好配置,于是想要写一个脚本,能在docker 容器创建.停止的时候,自动生成nginx反向代理,然后reload nginx 我的原则是尽量简单,轻量,内存占用少 目标很明确,只要能监听到docker的容器启动/停止事件,即可 网上查了一下可以用docker events来监听docker事件,试了一下

  • 利用Python自动生成PPT的示例详解

    在日常工作中,PPT制作是常见的工作,如果制作创意类PPT,则无法通过自动化的形式生成,因为创意本身具有随机性,而自动化解决的是重复性工作,两者有所冲突. python-pptx是python处理PPT的一个库,注重的是读和写,无法导出,没有渲染功能. 废话不多说,第一步,安装python-pptx库: pip3 install -i https://pypi.doubanio.com/simple/ python-pptx ppt里面处理的主要对象一般为文本框,表格,图片. 每一页的ppt为一

  • Nginx反向代理配置的全过程记录

    一.准备工作 Linux系统安装Tomcat,使用默认端口8080,启动Tomcat服务器 可以正常访问 接下来想要通过Nginx反向代理,转发请求到Tomcat服务器.对外暴露的是Nginx反向代理服务器的端口号,而Tomcat不对外暴露.浏览器不能直接访问到Tomcat,而是通过Nginx反向代理服务器才能访问到Tomcat 二.反向代理配置 在Windows系统的host文件进行域名和IP地址映射关系的配置 可以通过域名8080端口访问到Tomcat服务器 然后在Nginx进行请求转发的配

  • nginx反向代理配置去除前缀案例教程

    使用nginx做反向代理的时候,可以简单的直接把请求原封不动的转发给下一个服务.设置proxy_pass请求只会替换域名,如果要根据不同的url后缀来访问不同的服务,则需要通过如下方法: 方法一:加"/" server { listen 8000; server_name abc.com; access_log "pipe:rollback /data/log/nginx/access.log interval=1d baknum=7 maxsize=1G" mai

  • 详解nginx反向代理配置及优化

    前言: 由于服务器apache抗不住目前的并发.加上前端squid配置后,问题依然无法解决.而页面程序大部分是动态.无法使用fastcgi来处理.因此想使用nginx做为反向代理apache.整个配置安装过程很简单.在考虑高并发的情况下,在安装前就做了些优化.目前配置能抗住3000以上并发.好像不是特别大哦?呵~~ 但足以~~ 只是还有少量499问题..期待有人跟我讨论解决 第1部分:安装 1 建立用户及组 /usr/sbin/groupadd www /usr/sbin/useradd -g

  • nginx反向代理配置去除前缀

    使用nginx做反向代理的时候,可以简单的直接把请求原封不动的转发给下一个服务.设置proxy_pass请求只会替换域名,如果要根据不同的url后缀来访问不同的服务,则需要通过如下方法: 方法一:加"/" server {     listen              8000;     server_name         abc.com;     access_log  "pipe:rollback /data/log/nginx/access.log interva

  • 浅谈nginx反向代理中神奇的斜线

    在进行nginx反向代理配置的时候,location和proxy_pass中的斜线会造成各种困扰,有时候多一个或少一个斜线,就会造成完全不同的结果,所以特地将location和proxy_pass后有无斜线的情况进行了排列组合,进行了一次完整的测试,找出原理,以提高姿势水平~ 〇. 环境信息 两台nginx服务器 nginx A: 192.168.1.48 nginx B: 192.168.1.56 一. 测试方法 在nginx A中配置不同的规则,然后请求nginx A: http://192

  • Nginx七层及四层反向代理配置的全过程

    目录 部署测试http服务 nginx反向代理http服务 nginx通过https反向代理http服务 NginxStream模块负载均衡测试 准备测试用https服务 nginxstream安装配置 负载均衡策略 默认采用轮询算法 一致性hash算法测试 附:负载均衡四层和七层的区别 总结 本文旨在测试 nginx对 http服务 https 服务 的代理方式. 部署测试 http服务 准备测试服务程序 gintest 并启动如下 [root@localhost ~]# sudo nohup

  • 基于Nginx 反向代理获取真实IP的问题详解

    一.前言 前文Nginx 解决WebApi跨域二次请求以及Vue单页面问题 当中虽然解决了跨域问题带来的二次请求,但也产生了一个新的问题,就是如果需要获取用户IP的时候,获取的IP地址总是本机地址. 二.原因 由于Nginx反向代理后,在应用中取得的IP都是反向代理服务器的IP,取得的域名也是反向代理配置的Url的域名. 三.解决方案 解决该问题,需要在Nginx反向代理配置中添加一些配置信息,目的将客户端的真实IP和域名传递到应用程序中.同时,也要修改获取IP地址的方法. 但是需要注意的是,通

  • Python利用sqlacodegen自动生成ORM实体类示例

    本文实例讲述了Python利用sqlacodegen自动生成ORM实体类.分享给大家供大家参考,具体如下: 在前面一篇<Python流行ORM框架sqlalchemy安装与使用>我们是手动创建了一个名叫Infos.py的文件,然后定义了一个News类,把这个类作为和我们news数据表的映射. from sqlalchemy.ext.declarative import declarative_base Base = declarative_base() from sqlalchemy impo

随机推荐