python executemany的使用及注意事项

使用executemany对数据进行批量插入的话，要注意一下事项：

#coding:utf8
conn = MySQLdb.connect(host = “localhost”, user = “root”, passwd = “123456”, db = “myDB”)
cursor = conn.cursor()
sql = “insert into myTable (created_day,name,count) values(%s,%s,%s) ON DUPLICATE KEY UPDATE count=count+values(count)”
args=[("2012-08-27","name1",100),("2012-08-27","name1",200),("2012-08-27","name2",300)]
try:
  cursor.executemany(sql, args)
except Exception as e:
  print0(“执行MySQL: %s 时出错：%s” % (sql, e))
finally:
　　cursor.close()
　　conn.commit()
　　conn.close()

这里args是一个包含多个元组的数组，每个元组对应mysql当中的一条数据，注意这里的created_day对应的%s没有引号。这里推测executemany自己首先对sql语句进行正则匹配%s然后在此基础上，对字符串进行嵌入处理，如果这里%s加上引号的话，插入mysql当中会出现”0000-00-00″类型的错误日期。

如果一次性要插入很多条数据的话，在这里强烈 推荐使用executemany，从自己体会来讲，一条一条的insert需要2-3个小时时间的数据插入，使用executemany只需要2-3秒！！！

在这里executemany和ON DUPLICATE KEY UPDATE联合使用的时候如果按照sql常规模式，即：sql=”insert into myTable (created_day,name,count) values(%s,%s,%s) ON DUPLICATE KEY UPDATE count=count+%s”会报bug：not all arguments converted during string formatting

以上所述是小编给大家介绍的python executemany的使用及注意事项，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我们网站的支持！

赞 (0)

相关推荐

  • 详解python中executemany和序列的使用方法

    详解python中executemany和序列的使用方法 一 代码 import sqlite3 persons=[ ("Jim","Green"), ("Hu","jie") ] conn=sqlite3.connect(":memory:") conn.execute("CREATE TABLE person(firstname,lastname)") conn.executeman

  • python executemany的使用及注意事项

    使用executemany对数据进行批量插入的话,要注意一下事项: #coding:utf8 conn = MySQLdb.connect(host = "localhost", user = "root", passwd = "123456", db = "myDB") cursor = conn.cursor() sql = "insert into myTable (created_day,name,count

  • Python中除法使用的注意事项

    本文实例讲解了Python中除法使用的注意事项,是非常重要的技巧,对于Python程序设计来说有很好的借鉴价值.具体分析如下: 现来看如下示例: def avg(first, *rest): return (first + sum(rest)) / (1 + len(rest)) # Sample use avg(1, 2) # 1.5 avg(1, 2, 3, 4) # 2.5 源程序只是为了演示变长参数的使用,不过 Python 2.7.1 的解释器里,我得到的结果却和注释的结果不一样 >>

  • Python闭包的两个注意事项(推荐)

    什么是闭包? 简单说,闭包就是根据不同的配置信息得到不同的结果. 再来看看专业的解释:闭包(Closure)是词法闭包(Lexical Closure)的简称,是引用了自由变量的函数.这个被引用的自由变量将和这个函数一同存在,即使已经离开了创造它的环境也不例外.所以,有另一种说法认为闭包是由函数和与其相关的引用环境组合而成的实体. 延迟绑定 Python闭包函数所引用的外部自由变量是延迟绑定的. Python In [2]: def multipliers(): ...: return [lam

  • python切片中内存的注意事项总结

    1.由于 Python 列表的切片会在内存中创建新对象,因此需要注意的另一个重要函数是itertools.islice. 2.通常需要遍历切片,而不仅仅是在内存中静态创建它.islice非常适合这个. 一个警告,它不支持负的参数start,stop或者step,如果这是一个问题,您可能需要计算指标或反向迭代提前. length = 100 last_nine_iter = itertools.islice(list(range(length)), length-9, None, 1) list_

  • python标识符的用法及注意事项

    1.标识符由字符(A~Z和a~z).下划线和数字组成,但第一个字符不能是数字. 2.保留字符不能与标识符相同. 3.不能包含空格.@.%和$等特殊字符. 4.字母严格区分大小写. 尽管标识符可以有下划线,但是下划线开头的标识符往往含有特殊的含义,所以不建议使用下划线开头的标识符,除非你确实要这样做. 实例 例:下列标识符合法: abcd abc_d Abc_3d IF //python区分大小写,所以if是保留字,但IF不是,可以用 下列标识符不合法: 3abc //数字不能开头 if //标识

  • 利用Python开发微信支付的注意事项

    利用Python开发微信支付的注意事项

    前言 微信支付是由微信及财付通联合推出的移动支付创新产品.如今,随着微信支付的全面开放,相关需求也越来越多,很多开发人员进行微信支付开发及商家申请微信支付时,面临着诸多疑惑. 要想开发顺利进行,首先要对业务流程有个清晰的认识.这里以微信公众号支付为例,因此也借用微信支付官方文档中的业务流程图: 接下来来关注几个开发过程中的关键点,包括: 1.生成商户订单与调用统一下单 API 2.微信服务器交互的数据格式 3.公众号支付下网页内通过 JS-API 调起支付 4.异步通知商户支付结果(回调) 一.

  • PYTHON EVAL的用法及注意事项解析

    前言 eval是Python的一个内置函数,这个函数的作用是,返回传入字符串的表达式的结果.想象一下变量赋值时,将等号右边的表达式写成字符串的格式,将这个字符串作为eval的参数,eval的返回值就是这个表达式的结果. python中eval函数的用法十分的灵活,但也十分危险,安全性是其最大的缺点.本文从灵活性和危险性两方面介绍eval. 1.强大之处 举几个例子感受一下,字符串与list.tuple.dict的转化. a = "[[1,2], [3,4], [5,6], [7,8], [9,0

  • python爬虫使用scrapy注意事项

    在学习中,如果遇到问题把它们都收集整理出来,长期保存之后也是一份经验之谈.小编跟大家讲了这么久的scrapy框架,在自己学习的整理和小伙伴们的交流反馈中也累积了不少心得.想着有些小伙伴在python学习的时候有点丢三落四的毛病,特意整理出来scrapy在python爬虫使用中需要注意的事项,大家一起看看吧. 1.如果需要大批量分布式爬取,建议采用Redis数据库存储,可安装scrapy-redis,使用redis数据库来替换scrapy原本使用的队列结构(deque),并配合其它数据库存储,例如

  • Python requests库参数提交的注意事项总结

    Python requests库参数提交的注意事项总结

    字典与json字符串区别 # python 中的字典格式,是dict类型 {'a': 'sd'} 如果声明a = {"a": "sd"},它仍是字典,不过python会默认将双引号换成单引号,最后打印的仍然为{'a': 'sd'} # python 中的json字符串,是str类型 {"a": "sd"} 两者差别在于引号 在爬虫的过程中有些请求参数是json字符串的,有的是字典类型的,要区分json字符串和字典 json字符

  • Python pandas读取CSV文件的注意事项（适合新手）

    Python pandas读取CSV文件的注意事项（适合新手）

    目录 前言 示例文件 文件编码 空值 日期错误 函数映射 方法1:直接使用labmda表达式 方法二:使用自定义函数 方法三:使用数值字典映射 总结 前言 本文是给使用pandas的新手而写,主要列出一些常见的问题,根据笔者所踩过的坑,进行归纳总结,希望对读者有所帮助. 示例文件 将以下内容保存为文件 people.csv. id,姓名,性别,出生日期,出生地,职业,爱好 1,张小三,m,1992-10-03,北京,工程师,足球 2,李云义,m,1995-02-12,上海,程序员,读书 下棋 3

随机推荐