Python保存dict字典类型数据到Mysql并自动创建表与列
字典是另一种可变容器模型，且可存储任意类型对象，主要是工具类，
接下来使用pymysql来创建表与SQL
下面来看看示例代码：
import pymysql
class UseMysql(object):
def __init__(self, user, passwd, db, host="127.0.0.1", port=3306):
self.db = db
self.conn = pymysql.connect(
host=host, user=user, passwd=passwd, db=db, port=port, charset='utf8') # 链接数据库
self.cursor = self.conn.cursor()
def table_exists(self, table_name) -> bool:
"""判断表是否存在
:param table_name: 表名
:return: 存在返回True，不存在返回False
"""
sql = "show tables;"
self.cursor.execute(sql)
tables = self.cursor.fetchall()
for _t in tables:
if table_name == _t[0]:
return True
return False
def create_table(self, data: dict, table_name):
"""创建表"""
# 构造数据库
sql_key_str = ''
columnStyle = ' text' # 数据库字段类型
for key in data.keys():
sql_key_str = sql_key_str + ' ' + key + columnStyle + ','
self.cursor.execute("CREATE TABLE %s (%s)" % (table_name, sql_key_str[:-1]))
# 添加自增ID
self.cursor.execute("""ALTER TABLE `{}` \
ADD COLUMN `id` INT NOT NULL AUTO_INCREMENT FIRST, \
ADD PRIMARY KEY (`id`);"""
.format(table_name))
# 添加创建时间
self.cursor.execute(
"""ALTER TABLE {} ADD join_time timestamp NULL DEFAULT current_timestamp();""".format(table_name))
def write_dict(self, data: dict, table_name):
"""
写入mysql，如果没有表，创建表
:param data: 字典类型
:param table_name: 表名
:return:
"""
if not self.table_exists(table_name):
self.create_table(data, table_name)
sql_key = '' # 数据库行字段
sql_value = '' # 数据库值
for key in data.keys(): # 生成insert插入语句
sql_value = (sql_value + '"' + pymysql.escape_string(data[key]) + '"' + ',')
sql_key = sql_key + ' ' + key + ','
self.cursor.execute(
"INSERT INTO %s (%s) VALUES (%s)" % (table_name, sql_key[:-1], sql_value[:-1]))
self.conn.commit() # 提交当前事务
if __name__ == '__main__':
mysql = UseMysql('用户名', '密码', '数据库名')
my_data1 = {"col1": "a", "col2": "b", "col3": "c", }
mysql.write_dict(my_data1, table_name="mytable")
my_data2 = {"col1": "a2", "col2": "b2"}
mysql.write_dict(my_data2, table_name="mytable")
到此这篇关于Python保存dict字典类型数据到Mysql并自动创建表与列的文章就介绍到这了,更多相关Python保存dict字典类型数据到Mysql并自动创建表与列内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！
相关推荐
-
python中defaultdict字典功能特性介绍
defaultdict是普通字典dict的一个子类.通过collections库的defaultdict()方法创建.defaultdict()需要传入的参数为 类名.(type类型)首先,以int类 作为参数传入为例, from collections import defaultdict dedict = defaultdict(int) print(dedict) 不同于普通的字典,其特性在于,当用一个defaultdict中不存在的键来调用时,不会报KeyError错误 以调取’a’键的
-
Python dict的使用误区你知道吗
这两天写代码是用了列表里面追加字典的操作,代码如下: tmp_datas = [{'a': 18}, {'a':20}] def test(tmp_datas): tmp_li = [] tmp_dic = {} for data in tmp_datas: tmp_dic['age'] = data['a'] tmp_li.append(tmp_dic) print(tmp_li) test(tmp_datas) 由于字典是可变数据类型,所以得到的结果为: # [{'age': 20}, {'
-
用python实现操纵mysql数据库插入
python操纵mysql数据库,向一个表中插入一条新的记录. pycahrm提供一个很好的功能,在右边上面,可以连接数据库,并在里面手动操作数据库,连接步骤略过. 1.先看下表的结构,一个car表 1.python过程实现 要先安装一个库pymysql import pymysql as mysql # 连接到数据库,.connect()返回一个connection对象 db = mysql.connect(host="localhost", port=3306, user=&quo
-
python-字典dict和集合set
目录 1.字典 字典的相关操作 获取字典的长度 2.集合 1.字典 字典是python中的一种数据结构. 它的内容由**键-值(key-value)**的方式存在. dict拥有良好的查询速度,dict中值可以是任意python对象,对此对一个key赋value,后面的value会把前面的value覆盖. 字典的相关操作 # 字典中的内容放在大括号{}里,键值之间用冒号分隔,键值队之间用逗号 # method 1 myd = {'name': 'lmy', 'age': '19'} l = [(
-
Python 字典(Dictionary)详细介绍
目录 1.访问字典里的值 2.修改字典 3.删除字典元素 3.1字典键的特性 4.字典内置函数&方法 字典是另一种可变容器模型,且可存储任意类型对象. 字典的每个键值 key=>value 对用冒号 : 分割,每个键值对之间用逗号 , 分割,整个字典包括在花括号 {} 中 格式如下所示: d = {key1 : value1, key2 : value2 } 注意:dict 作为 Python 的关键字和内置函数,变量名不建议命名为 dict. 键一般是唯一的,如果重复最后的一个键值对会替换
-
Python保存dict字典类型数据到Mysql并自动创建表与列
字典是另一种可变容器模型,且可存储任意类型对象,主要是工具类, 接下来使用pymysql来创建表与SQL 下面来看看示例代码: import pymysql class UseMysql(object): def __init__(self, user, passwd, db, host="127.0.0.1", port=3306): self.db = db self.conn = pymysql.connect( h
-
python pandas中DataFrame类型数据操作函数的方法
python数据分析工具pandas中DataFrame和Series作为主要的数据结构. 本文主要是介绍如何对DataFrame数据进行操作并结合一个实例测试操作函数. 1)查看DataFrame数据及属性 df_obj = DataFrame() #创建DataFrame对象 df_obj.dtypes #查看各行的数据格式 df_obj['列名'].astype(int)#转换某列的数据类型 df_obj.head() #查看前几行的数据,默认前5行 df_obj.tail() #查看后几
-
Python如何把不同类型数据的json序列化
现代网络应用Web APP或大型网站的后台一般只有一个,然后客户端却是各种各样的(iOS, android, 浏览器), 而且客户端的开发语言很可能与后台的开发语言不一样.这时我们需要后台能够提供可以跨平台跨语言的一种标准的数据交换格式供前后端沟通(这就是Web API的作用).如今大家最常用的跨平台跨语言数据交换格式就是JSON(JavaScript Object Notation)了.JSON是一种文本序列化格式(它输出的是unicode文件,大多数时候会被编码为utf-8),人们很容易进行
-
对python xlrd读取datetime类型数据的方法详解
使用xlrd读取出来的时间字段是类似41410.5083333的浮点数,在使用时需要转换成对应的datetime类型,下面代码是转换的方法: 首先需要引入xldate_as_tuple函数 from xlrd import xldate_as_tuple 使用方法如下: #d是从excel中读取出来的浮点数 xldate_as_tuple(d,0) xldate_as_tuple第二个参数有两种取值,0或者1,0是以1900-01-01为基准的日期,而1是1904-01-01为基准的日期.该函数
-
mysql 设置自动创建时间及修改时间的方法示例
本文实例讲述了mysql 设置自动创建时间及修改时间的方法.分享给大家供大家参考,具体如下: 第一种,通过ddl进行定义 CREATE TABLE `course` ( `course` varchar(255) DEFAULT NULL, `user` varchar(255) DEFAULT NULL, `score` int(11) DEFAULT NULL, `id` int(11) NOT NULL AUTO_INCREMENT, `create_time` datetime DEFA
-
python中dict字典的查询键值对 遍历 排序 创建 访问 更新 删除基础操作方法
字典是另一种可变容器模型,且可存储任意类型对象. 字典的每个键值(key=>value)对用冒号(:)分割,每个对之间用逗号(,)分割,整个字典包括在花括号({})中 : 字典值可以没有限制地取任何python对象,既可以是标准的对象,也可以是用户定义的:但键不行,如果同一个键被赋值两次,后一个值会被记住. 值可以取任何数据类型,但键必须是不可变的,如字符串,数字或元组(列表这样的可变类型不能作为键). 一.字典的创建.访问: dict = {'Name': 'Zara', 'Age': 7,
-
Python实现 多进程导入CSV数据到 MySQL
前段时间帮同事处理了一个把 CSV 数据导入到 MySQL 的需求.两个很大的 CSV 文件, 分别有 3GB.2100 万条记录和 7GB.3500 万条记录.对于这个量级的数据,用简单的单进程/单线程导入 会耗时很久,最终用了多进程的方式来实现.具体过程不赘述,记录一下几个要点: 批量插入而不是逐条插入 为了加快插入速度,先不要建索引 生产者和消费者模型,主进程读文件,多个 worker 进程执行插入 注意控制 worker 的数量,避免对 MySQL 造成太大的压力 注意处理脏数据导致的异
-
Python的dict字典结构操作方法学习笔记
一.字典的基本方法 1.新建字典 1).建立一个空的字典 >>> dict1={} >>> dict2=dict() >>> dict1,dict2 ({}, {}) 2).新建的时候初始化一个值 >>> dict1={1:'a',2:'b',3:'c'} >>> dict1 {1: 'a', 2: 'b', 3: 'c'} 3).利用元组 >>> dict1=dict([(1,'a'),(2,'b
-
python将类似json的数据存储到MySQL中的实例
由于之前对于爬取下来的数据都是存入MongoDB中,想起来还没有尝试存入MySQL,于是将一篇简单的文章爬取下来,存入MySQL试试 这里用到的python模块是pymysql,因为MySQLdb之前已经停止维护 首先在cmd中连接MySQL并且创建一个数据库json 在图形化界面workbench中可以看到 接下来就要在pycharm中写代码了,在pycharm中导入pymysql后即可 #建立python与MySQL之间的连接 mysql = pymysql.connect(host="lo
-
详解PyMySQL插入字典类型的数据
在我们爬虫或者调API获取数据后,需要将数据存入到数据库中,如果数据是列表嵌套字典格式的话,一般做法是遍历列表,然后用字典生成对应的SQL语句再执行插入到表中.本文将介绍一种更加简便的方法来插入字典类型的数据. 我们有如下数据列表,需要将该数据插入到对应的数据表student中(表的字段名和数据列表中字典的键名相同) student_list = [ {"name": "Tony", "age": 19, "sex": &qu