解决python存数据库速度太慢的问题

2024-10-30 02:01:58

问题

在项目中遇到一个问题，需要从文本中读取三万条数据写入mysql数据库，文件中为用@分割的sql语句，但是在读取的过程中发现速度过慢，三万八千条数据需要220秒，问题代码片段如下：

def read_to_mysql(filecata, targetDir):
 '''
 用来写入数据库，写入后会剪贴掉文件
 filecata 为保存有文件地址的list，已去掉尾部的空格
 :param filecata: 文件目录
 :param targetDir: 要复制的目标目录
 :return:
 '''
 root_dir = os.path.abspath(os.path.join(os.getcwd(), "./"))
 config = configparser.ConfigParser()
 config.read(root_dir + "/config.ini")
 __host = config.get("DatabaseOfWRT", "host")
 __database_name = config.get("DatabaseOfWRT", "database")
 __user_name = config.get("DatabaseOfWRT", "username")
 __user_passwaord = config.get("DatabaseOfWRT", "password")
 __charset = config.get("DatabaseOfWRT", "charset")
 conn = pymysql.connect(
  host=__host,
  user=__user_name, password=__user_passwaord,
  database=__database_name,
  charset=__charset
 )
 cursor = conn.cursor()
 with open(filecata, "r", encoding='utf-8') as f:
  data = f.read() # 读取文件
  data_list = data.split('@')
  del data_list[-1]
  starttime = int(time.time())
  for data_str in data_list:
   data_str = str(data_str)
   sql = data_str + ';'
   cursor.execute(sql)
   conn.commit()
   print(flag)
 copy_del_file(filecata, targetDir) # 用来剪切的函数，此处不影响，因而省略
 cursor.close()
 conn.close()

解决方案

经测试发现，影响速度的主要原因是commit(),因为没过几秒提交一次即可，但是因为提交的字符长度有限制，所以要设置一个合理的时间读取，代码修改如下：

def read_to_mysql(filecata, targetDir):
 '''
 用来写入数据库，写入后会剪贴掉文件
 filecata 为保存有文件地址的list，已去掉尾部的空格
 :param filecata:
 :param targetDir: 要复制的目标目录
 :return:
 '''
 root_dir = os.path.abspath(os.path.join(os.getcwd(), "./"))
 config = configparser.ConfigParser()
 config.read(root_dir + "/config.ini")
 __host = config.get("DatabaseOfWRT", "host")
 __database_name = config.get("DatabaseOfWRT", "database")
 __user_name = config.get("DatabaseOfWRT", "username")
 __user_passwaord = config.get("DatabaseOfWRT", "password")
 __charset = config.get("DatabaseOfWRT", "charset")
 conn = pymysql.connect(
  host=__host,
  user=__user_name, password=__user_passwaord,
  database=__database_name,
  charset=__charset
 )
 cursor = conn.cursor()
 with open(filecata, "r", encoding='utf-8') as f:
  data = f.read() # 读取文件
  data_list = data.split('@')
  del data_list[-1]
  starttime = int(time.time())
  for data_str in data_list:
   endtime = int(time.time())
   data_str = str(data_str)
   sql = data_str + ';'
   cursor.execute(sql)
   if endtime - starttime ==10: # 每过十秒提交一次
    starttime = int(time.time())
    conn.commit()
 conn.commit()
 copy_del_file(filecata, targetDir)
 cursor.close()
 conn.close()
 return flag

此时写入三万八千条数据需要9秒

补充：python 连数据库cursur.fetchall ()速度慢的解决方案

解决游标遍历慢的方法：

一行一行去遍历，而不是一下全部读取出来

将cursur.fetchall()更改为for i in cursur:

补充：python 读取文件时速度的问题

"""举例 读取文件"""
# 第一种方式
with open('test.txt', 'r', encoding='utf-8') as f:
 info = f.readlines()
 for line in info:
 pass
# 第二种方式
with open('test.txt', 'r', encoding='utf-8') as f:
 for line in f:
 pass

对于以上两种方式读取文件，各自有各自的用途，当用两种方式都可以时，第二种方式的效率是第一种的几个量级， readlines()将文件内容读取到内存的list中，操作虽然方便，但是消耗内存，运行效率慢。

原生的f是将文件内容读到生成器中，当需要操作时，从生成器中循环出来，速度很快，操作大文件时建议用第二种方式！

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。如有错误或未考虑完全的地方，望不吝赐教。

一行代码让 Python 的运行速度提高100倍

python一直被病垢运行速度太慢,但是实际上python的执行效率并不慢,慢的是python用的解释器Cpython运行效率太差. "一行代码让python的运行速度提高100倍"这绝不是哗众取宠的论调. 我们来看一下这个最简单的例子,从1一直累加到1亿. 最原始的代码: import time def foo(x,y): tt = time.time() s = 0 for i in range(x,y): s += i print('Time used: {} sec'.form
Python库安装速度过慢解决方案

前言今天在升级下载Python第三方库的时候特别慢,最后去升级pip的时候竟然还time out了,哇心态炸了. 最后想了一下为什么会这么慢? 因为python默认的国外的资源,下载国外资源的时候就需要翻墙,这样的话网速就会特别慢,有时候会出现没有网速就会time out了. 问题想清楚了该怎么解决呢? 咱们可以用国内的镜像源啊,于是我在网上搜了一下国内的镜像源.哇还真不少呢. 阿里云:http://mirrors.aliyun.com/pypi/simple/ 清华:https://pypi
Python requests及aiohttp速度对比代码实例

环境:centos7 python3.6 测试网址:www.bai.com 测试方式:抓取百度100次结果: aio: 10.702147483825684s requests: 12.404678583145142s 异步框架的速度还是有显著提升的. 下面贡献代码: import aiohttp import time import requests import asyncio def test_requests(): """ 测试requessts请求百度100次时间
python+pygame实现坦克大战小游戏的示例代码(可以自定义子弹速度)

python+pygame实现坦克大战小游戏-可以自定义子弹速度: 运行环境–python3.7.pycharm: 源码需要请:点赞留言邮箱: 正常版子弹速度: 普通速度版加速版子弹速度: 子弹加速版另外还有多种道具,支持两人一起玩.main()方法如下: def main(): pygame.init() pygame.mixer.init() resolution = 630, 630 screen = pygame.display.set_mode(resolution) pygame
基于python不同开根号的速度对比分析

我就废话不多说了,大家还是直接看代码吧~ import time import math import numpy as np def timeit1(): s = time.time() for i in range(750000): z=i**.5 print ("Took %f seconds" % (time.time() - s)) def timeit2(arg=math.sqrt): s = time.time() for i in range(750000): z=ar
python各种excel写入方式的速度对比

经过实验,新建一个excel表格,该表格拥有7个sheet,每个sheet有800条数据,其中最后一个sheet为空. 首先使用openpyxl进行写入操作,代码如下: book = openpyxl.Workbook() auths = Auth.objects.filter(owner_id=1) filename = '导出数据' for auth in auths: sheet = book.create_sheet(auth.name, index = 0) sheet.append(
Python3如何使用多线程升程序运行速度

优化前后新老代码如下: from git_tools.git_tool import get_collect_projects, QQNews_Git from threading import Thread, Lock import datetime base_url = "http://git.xx.com" project_members_commits_lang_info = {} lock = Lock() threads = [] ''' Author:zenkilan '
解决python存数据库速度太慢的问题

问题在项目中遇到一个问题,需要从文本中读取三万条数据写入mysql数据库,文件中为用@分割的sql语句,但是在读取的过程中发现速度过慢,三万八千条数据需要220秒,问题代码片段如下: def read_to_mysql(filecata, targetDir): ''' 用来写入数据库,写入后会剪贴掉文件 filecata 为保存有文件地址的list,已去掉尾部的空格 :param filecata: 文件目录 :param targetDir: 要复制的目标目录 :return: ''' r
解决python 读取npy文件太大不能完全显示的问题

python读取npy文件时,太大不能完全显示,其解决方法当用python读取npy文件时,会遇到npy文件太大,用print函数打印时不能完全显示,如以下情况: 解决办法添加一行代码:np.set_printoptions(threshold = 1e6),其中threshold表示输出数组的元素数目其结果如下: 补充:PyCharm打开大文件时提示文件过大,只显示前一小部分使用pycharm打开一些大文件时,会出现上述提示,表明文件过大,只能以只读的方式显示前一小部分内容,这种情况显
解决python 打包成exe太大的问题

这是一个很长的故事,嫌长的直接看最后的结论事情经过上周接了个需求,写了个小工具给客户,他要求打包成exe文件,这当然不是什么难事.因为除了写Python的,绝大多数人电脑里都没有Python编译器,所以打包成exe,让用户(windows)双击就可以打开,也算是必备技能了. 直接用Pyinstaller,打开cmder: pyinstaller -Fw E:\test\url_crawler.py (-F 是打包成一个文件,-w是不出现调试窗口,因为我的小工具里有GUI,所以不用默认的调试窗
详解docker-compose速度太慢解决方式

解决办法只有一个一个一个,那就是换源! 使用的是github的源基本都是超时,此时使用: curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose 记得修改权限,否则会报错: sudo chmod +x /usr/local/bin/docker-compose 最后查看版本
一文解决Python切换版本问题

目录概述其他平台 1.安装Homebrew 2.通过brew命令安装pyenv 3.使用pyenv安装Python3.7.5 4.解决Python用pip命令安装速度慢,改用国内镜像 5.切换版本无效,试试bash 参考概述由于mac默认都会安装python2.x,这给我们python开发造成不便,我们经常要用到python3.x的版本来进行测试.开发,比如开源项目有2.x和3.x的,我们就必须来回切换使用不同版本python进行测试.开发,非常不方便,所以我们要在电脑安装pyenv来自
解决python写入mysql中datetime类型遇到的问题

刚开始使用python,还不太熟练,遇到一个datetime数据类型的问题: 在mysql数据库中,有一个datetime类型的字段用于存储记录的日期时间值.python程序中有对应的一个datetime变量dt. 现在需要往mysql数据库中添加记录,每次添加时,将datetime型变量dt写入mysql数据库tablename表中exTime字段里. 问题,如何写入?调试时,总是无法写入. 运行环境:windows10 python 3.6 mysql5.6.38 运行结果提示: Proce
解决python执行较大excel文件openpyxl慢问题

我就废话不多说了,大家还是直接看代码吧! talk is cheap from openpyxl import Workbook from openpyxl.utils import get_column_letter from openpyxl import load_workbook import time wb = load_workbook("E:/a.xlsx", read_only=True) sh = wb["Sheet"] # rowItem = {
解决python 虚拟环境删除包无法加载的问题

项目开发一直在docker的虚拟环境上,遇到了一个问题,就是把虚拟环境的包删掉(rm -rf xxx)之后,再重新拷贝一个(跟原来包一模一样的文件夹)进去发现pycharm再也找不到这个包了,后来在同事的帮助下一步步的解决了这个问题: 解决流程: 1.定位问题在虚拟环境下引入这个包: #进入虚拟环境 source bin/activate #1.进入python #2.引入报错的包 (xenwebsite-env)[root@aeb02c10de04 xenwebsite-env]# pyth
解决python mysql insert语句的问题

1.python 数据插入问题 par=[] for a in params: if type(a) == list: par.append('"str(a)"') else: par.append(a) for b in par: print() cursor.execute(sql,tuple(par)) 解决注意python中的 extend,append 的区别,在数据添加数据库中的时候,如果列表中列表一定将列表转为 str 类型, params 中的 append 添加记录
MongoDB安装使用并实现Python操作数据库

一.MongoDB介绍 MongoDB 是一个是一个基于分布式文件存储的数据库,介于关系数据库和非关系数据库之间,是非关系数据库当中功能最丰富,最像关系数据库的.他支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型.Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引. 二.安装MongoDB MongoDB安装很简单,无需下载源文件,可以直接用apt-ge

解决python存数据库速度太慢的问题

问题

解决方案

解决游标遍历慢的方法：

相关推荐

随机推荐