用sqlalchemy构建Django连接池的实例

都知道django每次请求都会连接数据库和释放数据库连接。Django为每个请求使用新的数据库连接。一开始这个方法行得通。然而随着服务器上的负载的增加,创建/销毁连接数据库开始花大量的时间。要避免这个，你可以使用数据库连接池，这里使用SQLAlchemy的连接池。使Django持久化数据库连接。

但这种方法会改变django的代码。对框架有侵入

方法 1

实现方法如下：

把django/db/backends/mysql文件夹全部拷贝出来，放在项目的一个libs/mysql下面，然后修改base.py文件。

或者把django/db/backends/mysql文件夹在django/db/backends/下面复制为mysql_pool文件夹，将base.py中所以import中的mysql替换为mysql_pool，这样可以直接在settings.py中设置'ENGINE':'django.db.backends.mysql_pool'

找到

try:
 import MySQLdb as Database
except ImportError as e:
 from django.core.exceptions import ImproperlyConfigured
 raise ImproperlyConfigured("Error loading MySQLdb module: %s" % e)

这段代码，在下面添加：

from sqlalchemy import pool
Database = pool.manage(Database[,recycle=DATABASE_WAIT_TIMEOUT-1])
#其中DATABASE_WAIT_TIMEOUT为你定义的连接超时时间，必须小于等于mysql里面的wait_timeout（）

结果如下

try:
 import MySQLdb as Database
except ImportError as e:
 from django.core.exceptions import ImproperlyConfigured
 raise ImproperlyConfigured("Error loading MySQLdb module: %s" % e)
from sqlalchemy import pool
Database = pool.manage(Database)

然后找到get_connection_params(self)函数代码：

def get_connection_params(self):
 kwargs = {
  'conv':django_conversions,
  'charset':utf8
  }
  ...

修改为：

def get_connection_params(self):
 kwargs = {
  'charset':utf8
  }
  ...

注意：如果不改变此处的kwargs，将会出现：TypeError:unhashable type:'dict' 的错误。

原样用kwargs传的话，sqlalchemy的pool会报unhashable错误，那是因为kwargs中有个key（conv）对应的value（django_conversions）是个字典，在pool中会把（key,value）组成元组作为新的key保存在pool中，但是因为value（django_conversions）是dict，不允许作为key的

在mysql里使用 show status 或 show processlist查看连接情况

方法 2

直接在settings.py同级目录下的init.py文件中添加如下代码

from django.conf import settings
from django.db.utils import load_backend
import sqlalchemy.pool as pool
import logging
pool_initialized=False

def init_pool():
  if not globals().get('pool_initialized', False):
   global pool_initialized
   pool_initialized = True
   try:
    backendname = settings.DATABASES['default']['ENGINE']
    backend = load_backend(backendname)

    #replace the database object with a proxy.
    backend.Database = pool.manage(backend.Database)

    backend.DatabaseError = backend.Database.DatabaseError
    backend.IntegrityError = backend.Database.IntegrityError
    logging.info("Connection Pool initialized")
   except:
    logging.exception("Connection Pool initialization error")

init_pool()

然后修改django/db/backends/mysql/base.py文件

找到get_connection_params(self)函数代码：

修改为：

def get_connection_params(self):
 kwargs = {
  'charset':utf8
  }
  ...

同理，不修改kwargs将会出现：TypeError:unhashable type:'dict' 的错误。

以上两种方法都要改变django的代码，有一定入侵性，第二种方法改变要小一点

django 1.7
python 2.7
sqlalchemy 1.0

这篇用sqlalchemy构建Django连接池的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • Python 数据库操作 SQLAlchemy的示例代码

    程序在运行过程中所有的的数据都存储在内存 (RAM) 中,「RAM 是易失性存储器,系统掉电后 RAM 中的所有数据将全部丢失」.在大多数情况下我们希望程序运行中产生的数据能够长久的保存,此时我们就需要将数据保存到磁盘上,无论是保存到本地磁盘,还是通过网络保存到服务器上,最终都会将数据写入磁盘文件.将数据保存在磁盘中我们需要面对一个数据格式的问题,此时就需要引入数据库操作. 数据库是专门用于数据的集中存储和查询的软件,它便于程序保存和读取数据,且能够通过特定的条件查询指定的数据. Python

  • 在Python程序和Flask框架中使用SQLAlchemy的教程

    ORM 江湖 曾几何时,程序员因为惧怕SQL而在开发的时候小心翼翼的写着sql,心中总是少不了恐慌,万一不小心sql语句出错,搞坏了数据库怎么办?又或者为了获取一些数据,什么内外左右连接,函数存储过程等等.毫无疑问,不搞懂这些,怎么都觉得变扭,说不定某天就跳进了坑里,叫天天不应,喊地地不答. ORM 的出现,让畏惧SQL的开发者,在坑里看见了爬出去的绳索,仿佛天空并不是那么黑暗,至少再暗,我们也有了眼睛.顾名思义,ORM 对象关系映射,简而言之,就是把数据库的一个个table(表),映射为编程语

  • 浅谈django url请求与数据库连接池的共享问题

    但凡介绍数据库连接池的文章,都会说"数据库连接是一种关键的有限的昂贵的资源,这一点在多用户的网页应用程序中体现得尤为突出.对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性,影响到程序的性能指标.数据库连接池正是针对这个问题提出来的.数据库连接池负责分配.管理和释放数据库连接,它允许应用程序重复使用一个现有的数据库连接,而不是再重新建立一个:释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏.这项技术能明显提高对数据库操作的性能." 这句

  • Python的Django框架中使用SQLAlchemy操作数据库的教程

    零.SQLAlchemy是什么? SQLAlchemy的官网上写着它的介绍文字: SQLAlchemy is the Python SQL toolkit and Object Relational Mapper that gives application developers the full power and flexibility of SQL. SQLAlchemy 是一个非常强大的ORM和数据库工具,但是它庞大的文档和复杂的功能总是让很 多人望而生畏.而Django的ORM相对来说

  • 用sqlalchemy构建Django连接池的实例

    都知道django每次请求都会连接数据库和释放数据库连接.Django为每个请求使用新的数据库连接.一开始这个方法行得通.然而随着服务器上的负载的增加,创建/销毁连接数据库开始花大量的时间.要避免这个,你可以使用数据库连接池,这里使用SQLAlchemy的连接池.使Django持久化数据库连接. 但这种方法会改变django的代码.对框架有侵入 方法 1 实现方法如下: 把django/db/backends/mysql文件夹全部拷贝出来,放在项目的一个libs/mysql下面,然后修改base

  • workerman写mysql连接池的实例代码

    首先要了解为什么用连接池,连接池能为你解决什么问题 连接池主要的作用: 1.减少与数据服务器建立TCP连接三次握手及连接关闭四次挥手的开销,从而降低客户端和mysql服务端的负载,缩短请求响应时间 2.减少数据库的并发连接数,即解决应用服务器过多导致的数据库 too many connections 问题 如果是为了解决问题1 则在workerman中数据库连接池不是最高效的方法,反而是自找麻烦的做法.由于PHP是单进程单线程的,使用PHP实现数据库连接池,肯定需要用单独的进程去做,那么就会涉及

  • Java使用MySQL实现连接池代码实例

    官方:数据库连接池(Connection pooling)是程序启动时建立足够的数据库连接,并将这些连接组成一个连接池,由程序动态地对连接池中的连接进行申请,使用,释放. 理解:创建数据库连接池是一个很耗时的操作,也容易对数据库造成安全隐患.所以,在程序初始化的时候,集中创建多个数据库连接池,并把他们集中管理,供程序使用,可以保证较快的数据库读写速度,还更加的安全可靠. 手动配置连接池: /** * 手动设置连接池 */ public void demo1(){ // 获得连接: Connect

  • Jedis出现connection timeout问题解决方法（JedisPool连接池使用实例）

    今天发现Jedis 默认的连接方式 jedis=new Jedis("localhost",6379),老是发生connection timeout. 后来发现jedis类包还有一种可以设置最大连接时间的方法. 1->获取Jedis实例需要从JedisPool中获取:2->用完Jedis实例需要还给JedisPool:3->如果Jedis在使用过程中出错,则也需要还给JedisPool:代码如下 复制代码 代码如下: JedisPoolConfig config =

  • 详谈Jedis连接池的使用

    1.构建redis连接池,返还到连接池 private static JedisPool jedisPool = null; private static Jedis jedis; static { jedis = getJedisPool().getResource(); } /** * 构建redis连接池 */ public static JedisPool getJedisPool() { if (jedisPool == null) { JedisPoolConfig config =

  • jdbc结合dpcp连接池的封装实例

    demo需求: 实现jdbc结合dpcp连接池的封装(以oracle数据库为例)并实现简单地查找demo主要技术: (1)Properties类加载.properties的方式 (2)dpcp连接池建立数据库连接的方式 (3)查询数据的方式 (4)静态代码块的使用,分离驱动的加载和连接信息的载入,整个服务器生命周期只执行一次 demo所用jar包: classes12.jar commons-dbcp-1.4.jar commons-pool-1.5.4.jar demo主要代码展示: Util

  • Node.js使用MySQL连接池的方法实例

    本文实例讲述了Node.js使用MySQL连接池的方法.分享给大家供大家参考,具体如下: Nodejs如何使用MySQL Nodejs要连接MySQL,可以使用Nodejs的MysQL驱动来实现.比如,我们这里使用"node-mysql"连接数据库.我们使用下面的方式来连接数据库: 首先,我们需要使用nodejs的包管理工具(npm)安装mysql的驱动.命令行如下: npm install musql 现在,要在js文件中使用mysql,添加下面的代码到你的文件中: var mysq

  • django连接mysql数据库及建表操作实例详解

    django连接mysql数据库及建表操作实例详解

    本文实例讲述了django连接mysql数据库及建表操作.分享给大家供大家参考,具体如下: django连接mysql数据库需要在project同名的目录下面的__init__.py里面加入下面的东西 import pymysql pymysql.install_as_MySQLdb() 找到settIngs里面的database设置如下 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 's22',

  • 构建高效的python requests长连接池详解

    前文: 最近在搞全网的CDN刷新系统,在性能调优时遇到了requests长连接的一个问题,以前关注过长连接太多造成浪费的问题,但因为系统都是分布式扩展的,针对这种各别问题就懒得改动了. 现在开发的缓存刷新系统,对于性能还是有些敏感的,我后面会给出最优的http长连接池构建方式. 老生常谈: python下的httpclient库哪个最好用? 我想大多数人还是会选择requests库的.原因么?也就是简单,易用! 如何蛋疼的构建reqeusts的短连接请求: python requests库默认就

  • Express连接MySQL及数据库连接池技术实例

    Express连接MySQL及数据库连接池技术实例

    目录 Express连接MySQL 准备工作 创建配置文件 创建操作数据库的接口文件 数据库连接池技术 什么是数据库连接池 数据库连接池的作用是什么? 数据库连接池技术实例 1.导入mysql模块 2.创建数据库连接池 3.获取数据库链接对象 4.释放数据库连接对象 完整实例 Express连接MySQL 准备工作 打开webstorm新建项目选择express创建一个express项目. 创建成功后其页面如下: 为了连接mysql数据库还需要导入mysql模块. 创建配置文件 在项目中创建co

随机推荐