python实现一次性封装多条sql语句(begin end)

python封装利用begin end执行多条sql

因为业务需求，优化模型运行时间。考虑到sql语句每一次执行都要建立连接，查询，获取数据耗时过多。就想到将sql一起提交上去运行，能够节省很多时间。原本1.6-2.5秒耗时的sql语句经过修改后时间降到0.3-0.6秒，感觉性能提升挺好的。

当然还有一种想法，如果有python框架的orm可能会更快，相比来说耗时基本看不到了吧，这只是我的猜想，仅仅为了优化一个模型写一个框架的话 代码可能需要改的比较多，自我感觉付出和收获不一定会成正比，当然以后有时间可以试试。

这次优化基本代码逻辑没有动，利用了begin end进行sql整合。

公司用的是oracle，之前没用过但是感觉和mysql基本类似，如果是mysql的话该方法也可用

sql_str = ‘begin\n'
sql_str += ‘这里时需要执行的sql语句'
sql_str += ‘\ncommit;end;'

中间sql有多少条无所谓，看了一下运行时间感觉 我的一千行sql耗时 几乎就是这一千行里面耗时最长那个时间。是异步完成还是什么这个就不是很清楚了，主要是一次建立连接，省去网络传输数据和请求数据库的过程

网上好多begin end都是在可视化工具中的sql执行的，并不能在command中执行，这就意味中我们代码中封装的语句没有卵用，还好没放弃当时就研究了一下找到了解决办法

在end 提交一下就ok了，如果在command中运行一直未结束的话加一个 / 斜线就ok了

本次内容就此结束，下面是一些题外话。

在说一个其中遇到的问题吧，在进行sql封装后，其中很多表都很乱，约束很乱 而且逻辑并不严谨，但是模型正在运行还不让动 那只能按照这个规则来了

ORA 00001 违反唯一约束条件 其中出现了这个问题，意思就是唯一约束重复了，因为模型输入问题，处理出来的结果之前可能刚插入到数据库中（也就是 上面的sql_str 出现了两天相同的insert），这个东西很简单，加一个set判断一下就行，但是到这之后，一个bug就跳出来了，这个脚本计算的是因子重要度，结果预测可能每次都不相同，有些数据很小的可能就当成0扔进去了，所以我需要做的是将 相同数据的情况下插入较为重要的因子重要度（也无需要 ），这样的话简简单单的set就不行了，但是也不难 用来一下字典

 importance_map = ｛｝
 实现创建好字典
 if feature in importance_map:
        if importance_map[feature] < importance:
          sql_str +=‘***************‘'' 这里就是insert语句了
        else:
          continue
      else:
        importance_map[feature] = importance

其实这个东西也没有什么难点，但是做到这之后就有很多想法折射出来。

数据处理原本也可以用pandas进行，但是pandas是对所有数据进行操作，我一个set只对重复数据进行操作，切pandas内存消耗极为严重，前两天写的特征工程内存炸裂。表数据用完后内存并没有得到释放，这里面就涉及到python的垃圾回收，用法至今没有搞懂，还需要研究研究，gc是对循环引用进行垃圾回收，内存释放。但是这个pandas并不是循环引用，我认为是在存储在缓存区中，位置占死了，就很烦

模型毕竟是在服务器上面跑，尽量快切省内存，不然你把内存占了 别人的项目怎么玩。所以就用这种方法。

很少写博客，主要是记录一下问题以后 再出现了好应对。当然如果能够帮助正在修复bug中的你，也是乐意至极。那块说的有问题或者解释不清楚，可以留言。

补充知识：postgreSQL sql使用 %s时务必加引号，即为‘%s',否则报错

postgre sql使用 %s时务必加引号，即为‘%s',否则报错

if name == ‘main':

t="TDD-LTE_MRO"
sql="select * from lastftp where enbid = %d and keytype = %s"%(110001,t)

print(selectOperate(sql))

结果：

Traceback (most recent call last):
File “/home/eyann/mypython/t1/pgSQLoperate.py”, line 84, in
print(selectOperate(sql))
File “/home/eyann/mypython/t1/pgSQLoperate.py”, line 45, in selectOperate
cursor.execute(sql)
psycopg2.ProgrammingError: column “tdd” does not exist
LINE 1: …* from lastftp where enbid = 110001 and keytype = TDD-LTE_MR…
^

if name == ‘main':

t="TDD-LTE_MRO"
sql="select * from lastftp where enbid = %d and keytype = '%s'"%(110001,t)

print(selectOperate(sql))

结果：

[(‘test3', ‘TDD-LTE_MRO', ‘0114123000', ‘0012', 110001)]
[Finished in 0.1s]

以上这篇python实现一次性封装多条sql语句(begin end)就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • Python中endswith()函数的基本使用

    函数:endswith() 作用:判断字符串是否以指定字符或子字符串结尾,常用于判断文件类型 相关函数:判断字符串开头 startswith() 一.函数说明 语法:string.endswith(str, beg=[0,end=len(string)])            string[beg:end].endswith(str) 参数说明: string: 被检测的字符串 str:      指定的字符或者子字符串(可以使用元组,会逐一匹配) beg:    设置字符串检测的起始位置(可

  • 利用Python脚本批量生成SQL语句

    通过Python脚本批量生成插入数据的SQL语句 原始SQL语句: INSERT INTO system_user (id, login_name, name, password, salt, code, createtime, email, main_org, positions, status, used, url, invalid, millis, id_card, phone_no, past, end_date, start_date) VALUES ('6', 'db', 'db',

  • Python实现的连接mssql数据库操作示例

    Python实现的连接mssql数据库操作示例

    本文实例讲述了Python实现的连接mssql数据库操作.分享给大家供大家参考,具体如下: 1. 目标数据sql2008 R2 ComPrject=>TestModel 2. 安装python 连接mssql 模块 运行 pip install pymssql-2.2.0.dev0-cp36-cp36m-win_amd64.whl 运行完毕 查看是否成功 pip -m  list 3. 编写python 代码 import time import pymssql #import decimal

  • python实现一次性封装多条sql语句(begin end)

    python封装利用begin end执行多条sql 因为业务需求,优化模型运行时间.考虑到sql语句每一次执行都要建立连接,查询,获取数据耗时过多.就想到将sql一起提交上去运行,能够节省很多时间.原本1.6-2.5秒耗时的sql语句经过修改后时间降到0.3-0.6秒,感觉性能提升挺好的. 当然还有一种想法,如果有python框架的orm可能会更快,相比来说耗时基本看不到了吧,这只是我的猜想,仅仅为了优化一个模型写一个框架的话 代码可能需要改的比较多,自我感觉付出和收获不一定会成正比,当然以后

  • MyBatis一次执行多条SQL语句的操作

    有个常见的场景:删除用户的时候需要先删除用户的外键关联数据,否则会触发规则报错. 解决办法不外乎有三个: 1.多条sql分批执行: 2.存储过程或函数调用: 3.sql批量执行. 今天我要说的是MyBatis中如何一次执行多条语句(使用mysql数据库). 1.修改数据库连接参数加上allowMultiQueries=true,如: hikariConfig.security.jdbcUrl=jdbc:mysql://xx.xx.xx:3306/xxxxx?characterEncoding=u

  • JSP 多条SQL语句同时执行的方法

    复制代码 代码如下: con.setAutoCommit(true);//设为true,每次executeUpdate将立刻被执行 sql = "insert into table1(lable1) values('001')"; rs = stmt.executeUpdate(sql); sql = "insert into table2(lable2) values('002')"; rs = stmt.executeUpdate(sql); 这是一段基本的SQ

  • mysqli多查询特性 实现多条sql语句查询

    mysqli相对于mysql有很多优势,建议大家使用,如果没有了解,可以查看mysql的基础教程: mysqli连接数据库 和 mysqli预处理prepare使用 .不仅如此,mysqli更是支持多查询特性,看下面这段php代码: 复制代码 代码如下: <?php $mysqli = new mysqli("localhost","root","","new"); $mysqli->query("set

  • 一个查询的SQL语句请教,希望能够用一条SQL语句得到结果

    各位老大:  我有一个查询的SQL语句请教,希望能够用一条SQL语句得到结果,问题如下: 表X:      A           B           C       D      ------------------      北京   广州   1000     10      北京   深圳   1200     20      北京   上海   500       30      北京   天津   300       40      北京   河南   800       20

  • oracle中得到一条SQL语句的执行时间的两种方式

    oracle中如果需要得到一条SQL语句的执行时间可以用如下2种方式 复制代码 代码如下: SQL> set timing on; SQL> select count(*) from wea; COUNT(*) ---------- 39490 已用时间: 00: 00: 00.06 SQL> select sql_text, elapsed_time from v$sql 2 where sql_text like 'select count(*) from wea'; 未选定行 已用

  • Spring 中jdbcTemplate 实现执行多条sql语句示例

    说一下Spring框架中使用jdbcTemplate实现多条sql语句的执行: 很多情况下我们需要处理一件事情的时候需要对多个表执行多个sql语句,比如淘宝下单时,我们确认付款时要对自己银行账户的表里减去订单所需的钱数,即需要更新银行账户的表,同时需要更新淘宝订单的表将订单状态改为"已付款",这就需要先后执行多个sql(仅仅用于表达执行多的SQL的举例说明,具体淘宝如何实现并不是很清楚~~~~~); 但如果这中间出现电脑断网断电等问题,仅将我们银行账户的钱扣掉了,订单状态并没有改,那我

  • iBatis习惯用的16条SQL语句

    iBatis 简介: iBatis 是apache 的一个开源项目,一个O/R Mapping 解决方案,iBatis 最大的特点就是小巧,上手很快.如果不需要太多复杂的功能,iBatis 是能够满足你的要求又足够灵活的最简单的解决方案,现在的iBatis 已经改名为Mybatis 了. 官网为:http://www.mybatis.org/ 1.输入参数为单个值 <delete id="com.fashionfree.stat.accesslog.deleteMemberAccessLo

  • 一条SQL语句查询多个数据库

    需求:一条SQL语句从多个数据库查询出相关联的结果,输出到客户端 调查:spring框架可以配置多数据源:sql也可以将多个数据库附加到一个主数据库下 解决办法:用ATTACH DATABASE语句将多个库添加到主库下,实现功能 语法: ATTACH DATABASE 'DatabaseName' As 'Alias-Name'; 例子: ATTACH DATABASE 'C:\Users\Administrator\Desktop\sqlite_data.sq3' As 'sd'; 总结 以上

  • 腾讯面试：一条SQL语句执行得很慢的原因有哪些？---不看后悔系列(推荐)

    说实话,这个问题可以涉及到 MySQL 的很多核心知识,可以扯出一大堆,就像要考你计算机网络的知识时,问你"输入URL回车之后,究竟发生了什么"一样,看看你能说出多少了. 之前腾讯面试的实话,也问到这个问题了,不过答的很不好,之前没去想过相关原因,导致一时之间扯不出来.所以今天,我带大家来详细扯一下有哪些原因,相信你看完之后一定会有所收获,不然你打我. 开始装逼:分类讨论 一条 SQL 语句执行的很慢,那是每次执行都很慢呢?还是大多数情况下是正常的,偶尔出现很慢呢?所以我觉得,我们还得

随机推荐