python测试mysql写入性能完整实例

2024-11-27 22:37:40

本文主要研究的是python测试mysql写入性能，分享了一则完整代码，具体介绍如下。

测试环境：

（1）阿里云服务器centos 6.5

（2） 2G内存

（3）普通硬盘

（4） mysql 5.1.73 数据库存储引擎为 InnoDB

（5） python 2.7

（6）客户端模块 mysql.connector

测试方法：

（1）普通写入

（2）批量写入

（3）事务加批量写入

普通写入：

def ordinary_insert(count):
  sql = "insert into stu(name,age,class)values('test mysql insert',30,8)"
  for i in range(count):
    cur.execute(sql)

批量写入，每次批量写入20条数据

def many_insert(count):
  sql = "insert into stu(name,age,class)values(%s,%s,%s)" 

  loop = count/20
  stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
         ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
         ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
        ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
         ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
         ('test mysql insert', 30, 32), ('test mysql insert', 30, 32))
  #并不是元组里的数据越多越好
  for i in range(loop):
    cur.executemany(sql, stus)

事务加批量写入，每次批量写入20条数据，每20个批量写入作为一次事务提交

def transaction_insert(count):
  sql = "insert into stu(name,age,class)values(%s,%s,%s)"
  insert_lst = []
  loop = count/20 

  stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
         ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
         ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
        ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
         ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
         ('test mysql insert', 30, 32), ('test mysql insert', 30, 32))
  #并不是元组里的数据越多越好
  for i in range(loop):
    insert_lst.append((sql,stus))
    if len(insert_lst) == 20:
      conn.start_transaction()
      for item in insert_lst:
        cur.executemany(item[0], item[1])
      conn.commit()
      print '0k'
      insert_lst = [] 

  if len(insert_lst) > 0:
    conn.start_transaction()
    for item in insert_lst:
      cur.executemany(item[0], item[1])
    conn.commit()

实验结果如下

数量  普通写入   many写入  事务加many写入
1万  26.7s  1.7s    0.5s
10万  266s   19s    5s
100万 2553s   165s    49s

批量写入，相比于普通的多次写入，减少了网络传输次数，因而写入速度加快。

不论是单次写入还是批量写入，数据库内部都要开启一个事务以保证写入动作的完整，如果在应用层，我们自己开启事物，那么就可以避免每一次写入数据库自己都开启事务的开销，从而提升写入速度。

事务加批量写入速度大概是批量写入速度的3倍，是普通写入的50倍。

完整的测试代码如下：

#coding=utf-8
'''''
采用三种方法测试mysql.connector对mysql的写入性能,其他的例如mysqldb和pymysql客户端库的写入性能应该和mysql.connector一致
采用批量写入时,由于减少了网络传输的次数因而速度加快
开启事务,多次写入后再提交事务,其写入速度也会显著提升,这是由于单次的insert,数据库内部也会开启事务以保证一次写入的完整性
如果开启事务,在事务内执行多次写入操作,那么就避免了每一次写入都开启事务,因而也会节省时间
从测试效果来看,事务加批量写入的速度大概是批量写入的3倍,是普通写入的50倍
数量  普通写入   many写入  事务加many写入
1万  26.7s  1.7s    0.5s
10万  266s   19s    5s
100万 2553s   165s    49s 

将autocommit设置为true,执行insert时会直接写入数据库,否则在execute 插入命令时,默认开启事物,必须在最后commit,这样操作实际上减慢插入速度
此外还需要注意的是mysql的数据库存储引擎如果是MyISAM,那么是不支持事务的,InnoDB 则支持事务
'''
import time
import sys
import mysql.connector
reload(sys)
sys.setdefaultencoding('utf-8') 

config = {
    'host': '127.0.0.1',
    'port': 3306,
    'database': 'testsql',
    'user': 'root',
    'password': 'sheng',
    'charset': 'utf8',
    'use_unicode': True,
    'get_warnings': True,
    'autocommit':True
  } 

conn = mysql.connector.connect(**config)
cur = conn.cursor() 

def time_me(fn):
  def _wrapper(*args, **kwargs):
    start = time.time()
    fn(*args, **kwargs)
    seconds = time.time() - start
    print u"{func}函数每{count}条数数据写入耗时{sec}秒".format(func = fn.func_name,count=args[0],sec=seconds)
  return _wrapper 

#普通写入
@time_me
def ordinary_insert(count):
  sql = "insert into stu(name,age,class)values('test mysql insert',30,8)"
  for i in range(count):
    cur.execute(sql) 

#批量
@time_me
def many_insert(count):
  sql = "insert into stu(name,age,class)values(%s,%s,%s)" 

  loop = count/20
  stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
         ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
         ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
        ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
         ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
         ('test mysql insert', 30, 32), ('test mysql insert', 30, 32))
  #并不是元组里的数据越多越好
  for i in range(loop):
    cur.executemany(sql, stus) 

#事务加批量
@time_me
def transaction_insert(count):
  sql = "insert into stu(name,age,class)values(%s,%s,%s)"
  insert_lst = []
  loop = count/20 

  stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
         ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
         ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
        ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)
         ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32),
         ('test mysql insert', 30, 32), ('test mysql insert', 30, 32))
  #并不是元组里的数据越多越好
  for i in range(loop):
    insert_lst.append((sql,stus))
    if len(insert_lst) == 20:
      conn.start_transaction()
      for item in insert_lst:
        cur.executemany(item[0], item[1])
      conn.commit()
      print '0k'
      insert_lst = [] 

  if len(insert_lst) > 0:
    conn.start_transaction()
    for item in insert_lst:
      cur.executemany(item[0], item[1])
    conn.commit() 

def test_insert(count):
  ordinary_insert(count)
  many_insert(count)
  transaction_insert(count) 

if __name__ == '__main__':
  if len(sys.argv) == 2:
    loop = int(sys.argv[1])
    test_insert(loop)
  else:
    print u'参数错误'

总结

以上就是本文关于python测试mysql写入性能完整实例的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题，如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！

您可能感兴趣的文章:

Python实现Mysql数据库连接池实例详解
Python 操作MySQL详解及实例
Python操作使用MySQL数据库的实例代码
在python3环境下的Django中使用MySQL数据库的实例
Python如何实现MySQL实例初始化详解
python 3.6 +pyMysql 操作mysql数据库(实例讲解)
python3.6连接MySQL和表的创建与删除实例代码
python将字典内容存入mysql实例代码

Python 操作MySQL详解及实例

Python 操作MySQL详解及实例使用Python进行MySQL的库主要有三个,Python-MySQL(更熟悉的名字可能是MySQLdb),PyMySQL和SQLAlchemy. Python-MySQL资格最老,核心由C语言打造,接口精炼,性能最棒,缺点是环境依赖较多,安装复杂,近两年已停止更新,只支持Python2,不支持Python3. PyMySQL为替代Python-MySQL而生,纯python打造,接口与Python-MySQL兼容,安装方便,支持Python3. SQLA
在python3环境下的Django中使用MySQL数据库的实例

我们在使用Django过程中,数据库往往是离不开的,比较长常用的是MySQL数据库,但在使用过程中,对Python不同的版本对用的库也不一样,用惯了Python2的人在使用Python3时经常会遇到下面的错误: Error loading MySQLdb module: No module named 'MySQLdb'. 这是因为Python3 MySQL的支持库为pymysql所致,所以我们要下载pymysql数据库. 并且在站点文件夹下的__init__.py(project同名目录下,而
python 3.6 +pyMysql 操作mysql数据库(实例讲解)

版本信息:python:3.6 mysql:5.7 pyMysql:0.7.11 ################################################################# #author: 陈月白 #_blogs: http://www.cnblogs.com/chenyuebai/ ################################################################# # -*- coding: utf-8
Python实现Mysql数据库连接池实例详解

python连接Mysql数据库: Python编程中可以使用MySQLdb进行数据库的连接及诸如查询/插入/更新等操作,但是每次连接MySQL数据库请求时,都是独立的去请求访问,相当浪费资源,而且访问数量达到一定数量时,对mysql的性能会产生较大的影响.因此,实际使用中,通常会使用数据库的连接池技术,来访问数据库达到资源复用的目的. 数据库连接池 python的数据库连接池包 DBUtils: DBUtils是一套Python数据库连接池包,并允许对非线程安全的数据库接口进行线程安全包装.D
Python如何实现MySQL实例初始化详解

前言相信每位程序员对mysql应该都不陌生,MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,目前属于 Oracle 旗下产品.我们在日常开发中少不了要接触mysql. 腾讯云上的mysql实例,初始化的时候,需要自己点击"初始化按钮",然后还要手动输入16位复杂的密码,这个操作比较繁琐,而且如果你一次建立多个实例,这个操作量就很大了,所以必须想办法提高效率,于是就有了下文,批量调用sdk api来实现. 本文主要给大家介绍了关于Python实现MySQL实例初
Python操作使用MySQL数据库的实例代码

Python 操作 MySQL 配置 win_64 Ubuntu14.04 Python3.x pip安装pymysql模块直接使用pip安装 pip install pymysql win64上直接在cmd中执行连接本地数据库使用模块pymysql连接数据库 #!/usr/bin/python # coding=utf-8 import pymysql # 连接本地数据库 conn = pymysql.connect(host='localhost', port=3306, user='
python3.6连接MySQL和表的创建与删除实例代码

python3.6不支持importMySQLdb改用为importpymysql模块,需要自行安装模块pymysql. 1:python3.6安装模块pymysql 命令行安装pipinstallpymysql 2:python3.6连接mysql数据库 #!/bin/env Python # -*- coding:utf-8 -*- import pymysql conn = pymysql.connect( user="root", password="root@123
python将字典内容存入mysql实例代码

本文主要研究的是python将字典内容存入mysql,分享了实现代码,具体介绍如下. 1.背景项目需要,用python实现了将字典内容存入本地的mysql数据库.比如说有个字典dic={"a":"b","c":"d"},存入数据库效果图如下: 2.代码 ''''' Insert items into database @author: hakuri ''' import MySQLdb def InsertData(Tabl
python测试mysql写入性能完整实例

本文主要研究的是python测试mysql写入性能,分享了一则完整代码,具体介绍如下. 测试环境: (1) 阿里云服务器centos 6.5 (2) 2G内存 (3) 普通硬盘 (4) mysql 5.1.73 数据库存储引擎为 InnoDB (5) python 2.7 (6) 客户端模块 mysql.connector 测试方法: (1) 普通写入 (2) 批量写入 (3) 事务加批量写入普通写入: def ordinary_insert(count): sql = "insert int
python查询mysql,返回json的实例

如下所示: import MySQLdb import json def getSql(): try: con = MySQLdb.connect(host='localhost', user='', passwd='', db='test', charset='utf8') cursor = con.cursor() sql = "select * from user" cursor.execute(sql) results = cursor.fetchmany(5) users =
Python测试Kafka集群(pykafka)实例

生产者代码: # -* coding:utf8 *- from pykafka import KafkaClient host = 'IP:9092, IP:9092, IP:9092' client = KafkaClient(hosts = host) print client.topics # 生产者 topicdocu = client.topics['my-topic'] producer = topicdocu.get_producer() for i in range(100):
用sysbench来测试MySQL的性能的教程

鉴于最近对OpenStack的兴趣和激情,我想要确保我可以做恰当的系统性能评估.我主要开始转向sysbench,是因为它带来一系列丰富的针对不同层面的测试(通过 -test=option 来获知) ,包括有: fileio - 文件 I/O测试 cpu - CPU系能测试 memory - 内存功能速度测试 threads - 线程子系统系能测试 mutex - 互斥性能测试正如你所看到的的,sysbench将让你的心思着重放在你的硬件和基础架构的许多基础组件上,例如你的磁盘子系统,以及你的C
Python实现LR1文法的完整实例代码

一.使用步骤 1.引入库(安装Python环境.PyQt.PyQt-tools) from PyQt5 import QtCore, QtGui, QtWidgets import sys import datetime from PyQt5.QtGui import QStandardItemModel, QStandardItem from PyQt5.QtWidgets import QHeaderView from collections import defaultdict impor
PHP实现的通过参数生成MYSQL语句类完整实例

本文实例讲述了PHP实现的通过参数生成MYSQL语句类.分享给大家供大家参考,具体如下: 这个类可以通过指定的表和字段参数创建SELECT ,INSERT , UPDATE 和 DELETE 语句. 这个类可以创建SQL语句的WHERE条件,像LIKE的查询语句,使用LEFT JOIN和ORDER 语句 <?php /* ******************************************************************* Example file This ex
Python开发的实用计算器完整实例

本文实例讲述了Python开发的实用计算器.分享给大家供大家参考,具体如下: 实现功能:图形界面PyQt,输入框,+,-,*,/ :乘方 ,开方 ,取余,清零. 1. Python代码: #!/usr/bin/env python # -*- coding: utf-8 -*- ''' Author : Mr.LiuYC Created on 2014-09-30 E-Mail : liuyanchen0725@gmail.com Introduction: 简易计算器实现图形界面PyQt,输
Python实现冒泡排序算法的完整实例

冒泡排序:顾名思义就是(较小的值)像泡泡一样往上冒,(大的值)往下沉. 实现原理:依次将相邻两个数值进行比较,较小的数值移到左边,较大的数值移到右边,依次比较完第一轮后,最大的数值应该排在最右边.然后再继续重复的比较,直至无数值需要交换,此时排序完成. 例子解释: 无序列表arr = [7,6,5,3,9,2,8,1,4] 数列长度:len = 9 第一趟排序: i = 1; arr = [7,6,5,3,9,2,8,1,4] 7>6 =>[6,7,5,3,9,2,8,1,4]数值小的放左边,
Python实现Mysql数据统计及numpy统计函数

Python实现Mysql数据统计的实例代码如下所示: import pymysql import xlwt excel=xlwt.Workbook(encoding='utf-8') sheet=excel.add_sheet('Mysql数据库') sheet.write(0,0,'库名') sheet.write(0,1,'表名') sheet.write(0,2,'数据条数') db=pymysql.connect('192.168.1.74','root','123456','xx1'

python测试mysql写入性能完整实例

您可能感兴趣的文章:

相关推荐

随机推荐