python实现Mysql数据库批量新增数据的场景分析

一、批量插入数据的场景

  • 在进行数据压力时需要进行大数据量的测试
  • 比如登录要进行千人用户同时登录
  • 比如数据加工由于源数据没有，需要我们进行数据库数据的插入
  • 选择方法
  • 使用Jmeter进行接口数据的批量新增
  • 使用存储过程进行数据库的直接操作
  • 使用Python进行数据库的操作

二、插入数据的工具选择

​选择方法要根据实际情况进行选择，不是哪一种更好，而是哪一种更能快捷的解决我们的问题，举个栗子来讲；

  • 在我们需要Jmeter操作需要实际批量新增用户，用户需要上传图像，这时候我们应该怎么选择呢？
  • 如果选择使用python，那我们可能需要读取文件操作，名字获取，各个字段的填写等等，会比较麻烦
  • 如果选择存储过程那就有点不太现实怎么用存储过程进行头像的上传操作呢？

所有我们更倾向于选择一个简单便捷的也就是我们的jmeter

​回到我们的主题，如果进行数据的批量插入，我们应该怎么选择呢，仅仅对数据库操作，其实我们选存储过程或者python都可，我个人比较倾向于python因为它平时自动化用的也比较多，比较顺手，所以后续是以python为例进行数据库讲解。

三、选择Python进行批量插入

操作以本地Mysql数据库为例

#安装操作数据库的第三方包
C:\Users\Lenovo> pip install pymsql
#全文使用Pycharm进行操作
------------------------------------------------
#导入数据库操作包
import pymysql
#数据库的基本信息[主机、用户名、密码、端口号、连接的数据库]
Host= '127.0.0.1'
user = 'root'
pwd='123456'
port = 3306
database ='sq'
#进行创建数据库的连接
conn = pymysql.connect(host=Host,user=user,password=pwd,port=port,db=database)
#获取游标
cursor = conn.cursor()
#使用format对sql语句进行参数化
sql = "insert into takeout_food values('0{j}','testautoinsert{i}','10','this is auto test','17.jpg');"
#执行数据库的插入语句
j=17
for i in range(1,10):
    j+=1
    data = cursor.execute(sql.format(i=i,j=j))
#连接实例进行数据的提交
conn.commit()
#关闭游标
cursor.close()

数据展示如下：

到此这篇关于python实现Mysql数据库批量新增数据的文章就介绍到这了,更多相关python批量新增数据内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • Python操控mysql批量插入数据的实现方法

    在Python中,通过pymysql模块,编写简短的脚本,即方便快捷地控制MySQL数据库 一.连接数据库 使用的函数:pymysql.connect 语法:db=pymysql.connect(host='localhost',user='root',port=3306,password='Your password',db='database_name') 参数说明:host:MySQL服务器地址                           user:用户名             

  • Python向MySQL批量插数据的实例讲解

    背景:最近测试web项目需要多条测试数据,sql中嫌要写多条,就看了看python如何向MySQL批量插数据(pymysql库) 1.向MySQL批量插数据 import pymysql #import datetime #day = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')#参数值插入时间 db = pymysql.connect(host='服务器IP', user='账号', passwd='密码', port=端口号) c

  • Python批量删除mysql中千万级大量数据的脚本分享

    场景描述 线上mysql数据库里面有张表保存有每天的统计结果,每天有1千多万条,这是我们意想不到的,统计结果咋有这么多.运维找过来,磁盘占了200G,最后问了运营,可以只保留最近3天的,前面的数据,只能删了.删,怎么删? 因为这是线上数据库,里面存放有很多其它数据表,如果直接删除这张表的数据,肯定不行,可能会对其它表有影响.尝试每次只删除一天的数据,还是卡顿的厉害,没办法,写个Python脚本批量删除吧. 具体思路是: 每次只删除一天的数据: 删除一天的数据,每次删除50000条: 一天的数据删

  • python实现Mysql数据库批量新增数据的场景分析

    python实现Mysql数据库批量新增数据的场景分析

    一.批量插入数据的场景 在进行数据压力时需要进行大数据量的测试 比如登录要进行千人用户同时登录 比如数据加工由于源数据没有,需要我们进行数据库数据的插入 选择方法 使用Jmeter进行接口数据的批量新增 使用存储过程进行数据库的直接操作 使用Python进行数据库的操作 二.插入数据的工具选择 ​选择方法要根据实际情况进行选择,不是哪一种更好,而是哪一种更能快捷的解决我们的问题,举个栗子来讲: 在我们需要Jmeter操作需要实际批量新增用户,用户需要上传图像,这时候我们应该怎么选择呢? 如果选择

  • JDBC连接MySQL数据库批量插入数据过程详解

    这篇文章主要介绍了JDBC连接MySQL数据库批量插入数据过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 1.读取本地json数据 2.jdbc理解数据库 3.批量插入 maven 引入jar包: <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2

  • python连接mysql数据库并读取数据的实现

    1.安装pymysql包 pip install pymysql 注: MySQLdb只支持python2,pymysql支持python3 2.连接数据 import pymysql import pandas as pd from pandas import DataFrame as df conn = pymysql.Connect( host = 'IP地址', port = 端口号, user = '用户名', passwd = '用户密码', db = '数据库名称', charse

  • Python实现mysql数据库更新表数据接口的功能

    前言 昨天,因为项目需求要添加表的更新接口,来存储预测模型训练的数据,所以自己写了一段代码实现了该功能,在开始之前,给大家分享python 操作mysql数据库基础: #coding=utf-8 import MySQLdb conn= MySQLdb.connect( host='localhost', port = 3306, user='root', passwd='123456', db ='test', ) cur = conn.cursor() #创建数据表 #cur.execute

  • Python操作MySQL数据库的两种方式实例分析【pymysql和pandas】

    Python操作MySQL数据库的两种方式实例分析【pymysql和pandas】

    本文实例讲述了Python操作MySQL数据库的两种方式.分享给大家供大家参考,具体如下: 第一种 使用pymysql 代码如下: import pymysql #打开数据库连接 db=pymysql.connect(host='1.1.1.1',port=3306,user='root',passwd='123123',db='test',charset='utf8') cursor=db.cursor()#使用cursor()方法获取操作游标 sql = "select * from tes

  • mybatis学习之路mysql批量新增数据的方法

    接下来两节要探讨的是批量插入和批量更新,因为这两种操作在企业中也经常用到. mysql新增语句 insert into 表名(字段,字段...) values ( 值,值 ...):此种适合单条插入. 批量插入,一种可以在代码中循环着执行上面的语句,但是这种效率太差,下面会有对比,看看它有多差. 另一种,可以用mysql支持的批量插入语句, insert into 表名(字段,字段...) values ( 值,值 ...),( 值,值 ...),( 值,值 ...).... 这种方式相比起来,

  • python数据库批量插入数据的实现(executemany的使用)

    正常情况下往数据库多张表中批量插入1000条数据,若一条一条insert插入,则调用sql语句查询插入需要执行几千次,花费时间长 现使用cursor.executemany(sql,args) ,可对数据进行批量插入, 其中args是一个包含多个元组的list列表,每个元组对应mysql当中的一条数据 以下是实例: 往数据库中的order表.order_detail表和pay表中插入1000条订单数据,订单详情数据以及支付数据 1.pay表中的id字段是order表中的pay_id字段 2.or

  • Mysql使用insert插入多条记录 批量新增数据

    如果要向table1中插入5条记录,下面写法是错误的: INSERT INTO table1 (id,name) VALUES(1,小明,2,小强,3,小杜,4,小李,5,小白); MySQL将会抛出下面的错误 ERROR 1136: Column count doesn't match value count at row 1 而正确的写法应该是这样: INSERT INTO t able1(i,name) VALUES(1,'小明'),(2,'小强'),(3,'小杜'),(4,'小李'),(

  • 使用python将mysql数据库的数据转换为json数据的方法

    由于产品运营部需要采用第三方个推平台,来推送消息.如果手动一个个键入字段和字段值,容易出错,且非常繁琐,需要将mysql的数据转换为json数据,直接复制即可. 本文将涉及到如何使用Python访问Mysql数据库及读取获取数据(前提需要安装MySQLdb第三方库哦),以及如何将数据转换为json数据,最后保存成文件输出. 代码如下:注释比较详细了. # coding=utf-8 ''' Created on 2016-10-26 @author: Jennifer Project:读取mysq

  • python的mysql数据库建立表与插入数据操作示例

    本文实例讲述了python的mysql数据库建立表与插入数据操作.分享给大家供大家参考,具体如下: mysql数据库建立表 一 代码 import pymysql # 打开数据库连接 db = pymysql.connect("localhost","root","root","db_test01" ) # 使用 cursor() 方法创建一个游标对象 cursor cursor = db.cursor() # 使用 exec

随机推荐