PostgreSQL删除更新优化操作

1. 先说删除吧,因为刚搞了。

删除缓慢的原因:主要是约束的问题。(数据库在有约束的时候,进行操作,会根据约束对相关表进行验证,可想而知,20W的数据验证要耗费多久的时间)。其次就是sql的编写。(sql如果查询中包含子查询等的可以优化的where会影响匹配的速度<查询的话就不多逼逼了>)。索引的问题 请看下面的 补充部分

具体解决方法:

ALTER TABLE tableName DISABLE TRIGGER ALL;
  delete 目标语句
ALTER TABLE tableName ENABLE TRIGGER ALL;

2. 更新,原因和删除大体一致,这里主要描述一下自己遇到的问题。

利用mybatis批量更新,第一张图是原本的批量更新的写法,发现在本地还可以的但是放在服务器会由于时间太久出现IO错误。

后来换成第二张图的方式来更新。当然也可以java代码for循环来单条更新来达到批量的目的。(对于这三种方式,第二种最快)

<update id="batchUpdate2" parameterType="java.util.List">
		UPDATE lt_dzheinfo
		 <trim prefix="set" suffixOverrides=",">
   <trim prefix="dzzhao =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
      when dzid=#{reader.readerId} then #{reader.readerBarcode}
    </foreach>
   </trim>
   <trim prefix="xming =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
      when dzid=#{reader.readerId} then #{reader.readerName}
    </foreach>
   </trim>
    <trim prefix="ztai =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
      when dzid=#{reader.readerId} then #{reader.readerState}
    </foreach>
   </trim>
    <trim prefix="mima =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
      when dzid=#{reader.readerId} then #{reader.readerPsw}
    </foreach>
   </trim>
   <trim prefix="dzlxid =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
      when dzid=#{reader.readerId} then #{reader.readerType}
    </foreach>
   </trim>
   <trim prefix="zjlx =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
      when dzid=#{reader.readerId} then #{reader.identityType}
    </foreach>
   </trim>
   <trim prefix="zjhma =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
      when dzid=#{reader.readerId} then #{reader.identityId}
    </foreach>
   </trim>
   <trim prefix="qyrqi =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
      when dzid=#{reader.readerId} then TO_TIMESTAMP(#{reader.enableDate}, 'YYYY-MM-DD HH24:MI:SS')
    </foreach>
   </trim>
   <trim prefix="jzrqi =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
      when dzid=#{reader.readerId} then TO_TIMESTAMP(#{reader.disableDate}, 'YYYY-MM-DD HH24:MI:SS')
    </foreach>
   </trim>
   <trim prefix="libid =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
      when dzid=#{reader.readerId} then #{reader.readerOfLibCode}
    </foreach>
   </trim>
   <trim prefix="xingbie =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
    	when dzid=#{reader.readerId} then
		   <choose>
						<when test="reader.readerSex=='男'.toString()">
							true
						</when>
						<otherwise>
							false
						</otherwise>
					</choose>
    </foreach>
   </trim>
   <trim prefix="userid =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
      when dzid=#{reader.readerId} then #{reader.readerOperatorId}
    </foreach>
   </trim>
   <trim prefix="beizhu =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
      when dzid=#{reader.readerId} then #{reader.readerRemark}
    </foreach>
   </trim>
   <trim prefix="bzrqi =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
      when dzid=#{reader.readerId} then TO_TIMESTAMP(#{reader.enableDate}, 'YYYY-MM-DD HH24:MI:SS')
    </foreach>
   </trim>
   <trim prefix="optime =case" suffix="end,">
    <foreach collection="list" item="reader" index="index">
      when dzid=#{reader.readerId} then TO_TIMESTAMP(#{reader.enableDate}, 'YYYY-MM-DD HH24:MI:SS')
    </foreach>
   </trim>
  </trim>
  where dzid in
  <foreach collection="list" index="index" item="reader" separator="," open="(" close=")">
   #{reader.readerId}
  </foreach>
	</update>
<update id="batchUpdate" parameterType="java.util.List">
		<foreach collection="list" index="index" item="reader" separator=";">
			UPDATE lt_dzheinfo SET
			dzzhao = #{reader.readerBarcode},
			xming = #{reader.readerName},
			ztai = #{reader.readerState},
			mima = #{reader.readerPsw},
			dzlxid = #{reader.readerType},
			zjlx = #{reader.identityType},
			zjhma = #{reader.identityId},
			qyrqi = TO_TIMESTAMP(#{reader.enableDate}, 'YYYY-MM-DD HH24:MI:SS'),
			jzrqi = TO_TIMESTAMP(#{reader.disableDate}, 'YYYY-MM-DD HH24:MI:SS'),
			libid = #{reader.readerOfLibCode},
			xingbie =
			<choose>
				<when test="reader.readerSex=='男'.toString()">
					true
				</when>
				<otherwise>
					false
				</otherwise>
			</choose>,
			userid = #{reader.readerOperatorId},
			beizhu = #{reader.readerRemark},
			bzrqi = TO_TIMESTAMP(#{reader.enableDate}, 'YYYY-MM-DD HH24:MI:SS'),
			optime = TO_TIMESTAMP(#{reader.enableDate}, 'YYYY-MM-DD HH24:MI:SS')
			<where>
				dzid = #{reader.readerId}
			</where>
		</foreach>
	</update>

补充:数据库突然变慢...索引作怪!

本人在最近发现,有些比容量较大的SQL数据库,在使用一段时间后,会突然变很慢很慢。特别体现在一些经常进行操作及查询的大表中。经过深入研究,这一般是索引的问题!如果把此表的索引重建一次,问题即可解决。

为更好地解决此问题,建意在SQL中新建一个数据库维护计划,选中“重新组织数据各索引页”选项,并设置每天运行一次。

/*
 刷新数据库视图.sql
*/
ALTER PROC P_RefreshView
as

DECLARE @vName sysname

DECLARE refresh_cursor CURSOR FOR
 SELECT Name from sysobjects WHERE xtype = 'V' order by crdate
FOR READ ONLY
OPEN refresh_cursor

FETCH NEXT FROM refresh_cursor
INTO @vName
 WHILE @@FETCH_STATUS = 0
 BEGIN
--刷新指定视图的元数据。由于视图所依赖的基础对象的更改,视图的持久元数据会过期。
 exec sp_refreshview @vName
 PRINT '视图' + @vName + '已更新'
 FETCH NEXT FROM refresh_cursor
  INTO @vName
 END
CLOSE refresh_cursor
DEALLOCATE refresh_cursor

GO
SET QUOTED_IDENTIFIER OFF
GO
SET ANSI_NULLS ON
GO

以上为个人经验,希望能给大家一个参考,也希望大家多多支持我们。如有错误或未考虑完全的地方,望不吝赐教。

(0)

相关推荐

  • PostgreSQL更新表时时间戳不会自动更新的解决方法

    PostgreSQL更新表时时间戳不会自动更新的解决方法,具体如下 操作系统:CentOS7.3.1611_x64 PostgreSQL版本:9.6 问题描述 PostgreSQL执行Insert语句时,自动填入时间的功能可以在创建表时实现,但更新表时时间戳不会自动自动更新. 在mysql中可以在创建表时定义自动更新字段,比如 : create table ab ( id int, changetimestamp timestamp NOT NULL default CURRENT_TIMEST

  • postgresql通过索引优化查询速度操作

    当数据量比较大的时候,提升查询效率就是需要去考虑的事情了.一个百万级别的表格,如果不做任何优化的话,即使是最简单的查询语句执行起来也是慢的让人难以接受:当然"优化"本身是一个比较复杂的工程,从设计表.字段到查询语句的写法都有很多讲究,这里只考虑索引的方式,且是最普通的索引: 下面的操作中对应数据库表w008_execrise_info(8000数据量), w008_wf02_info(4000数据量) 1 任务表数据 SELECT w.* FROM w008_wf02_info w W

  • PostgreSQL实现批量插入、更新与合并操作的方法

    前言 就在 2019 年 1 月份微软收购了 PostgreSQL 数据库的初创公司 CitusData, 在云数据库方面可以增强与 AWS 的竟争.AWS 的 RDS 两大开源数据库就是 MySQL(Aurora 和 MariaDB 是它的变种) 和 PostgreSQL. 而 PostgreSQL 跳出了普通关系型数据库的类型约束,它灵活的支持 JSON, JSONB, XML, 数组等类型.比如说字段类型可以是各种形式的数组,一维或多维. create table t1( address

  • Postgresql排序与limit组合场景性能极限优化详解

    1 构造测试数据 create table tbl(id int, num int, arr int[]); create index idx_tbl_arr on tbl using gin (arr); create or replace function gen_rand_arr() returns int[] as $$ select array(select (1000*random())::int from generate_series(1,64)); $$ language sq

  • PostgreSQL删除更新优化操作

    1. 先说删除吧,因为刚搞了. 删除缓慢的原因:主要是约束的问题.(数据库在有约束的时候,进行操作,会根据约束对相关表进行验证,可想而知,20W的数据验证要耗费多久的时间).其次就是sql的编写.(sql如果查询中包含子查询等的可以优化的where会影响匹配的速度<查询的话就不多逼逼了>).索引的问题 请看下面的 补充部分 具体解决方法: ALTER TABLE tableName DISABLE TRIGGER ALL; delete 目标语句 ALTER TABLE tableName E

  • postgresql 删除重复数据案例详解

    1.建表 /* Navicat Premium Data Transfer Source Server : localhost Source Server Type : PostgreSQL Source Server Version : 110012 Source Host : localhost:5432 Source Catalog : postgres Source Schema : public Target Server Type : PostgreSQL Target Server

  • 详解GridView自带的编辑删除更新功能

    GridView自带编辑删除更新逻辑很简单:操作完,重新绑定.总结总结,防止忘记... 效果图: 前台代码: <%@ Page Language="C#" AutoEventWireup="true" CodeFile="gridView_bianjidelete.aspx.cs" Inherits="gridView_bianjidelete" %> <!DOCTYPE html> <html

  • PostgreSQL自动更新时间戳实例代码

    目录 什么是PostgreSQL时间戳数据类型? 一.为什么 二.如何做 总结 什么是PostgreSQL时间戳数据类型? 在PostgreSQL中,下一个数据类型是 TIMESTAMP ,它可以存储 TIME 和 DATE 值.但它不支持任何 时区数据.这意味着当我们转换数据库服务器的 时区时, 时间戳值将存储在数据库中,并且不能重复修改. 在PostgreSQL中,TIMESTAMP数据类型分为 两种时间数据类型,如下: timestamp timpstamptz Timestamp: :

  • postgresql删除主键的操作

    ALTER TABLE tablename DROP CONSTRAINT primaryname. talbename:表示表名 primaryname:表示主键名 例子: postgres=# \d c_tab; Table "public.c_tab" Column | Type | Modifiers ---------------+-----------------------------+----------- uptime | timestamp without time

  • 动态载入/删除/更新外部 JavaScript/Css 文件的代码

    动态载入 JavaScript/Csss 文件 传统加载外部JavaScript(*.js) 或者 Css(*.css)文件的方法是直接在<head>标签里面进行添加: 复制代码 代码如下: <head> <script type="text/javascript" src="myscript.js"></script> <link rel="stylesheet" type="te

  • Postgresql的select优化操作(快了200倍)

    对于庞大的数据,检索sql的编写要格外小心,有很多平时不注意的sql可能就会变成瓶颈. 比如, 我们有个系统, 其中t96_pd_log表,记录数8000w多,在开发阶段乃至用了那么多年都没问题, 最近却发生频繁死锁的问题, 查数据库后台发现问题出在一个select语句上, 它耗时高达2.4-2.7s,这对于一个需要高并发的系统来说当然是致命的. 数据表t96_pd_log有两条index, 一条的字段组成是f96_mgtbarcd,另一条的字段组成是f96_result_type, 检索sql

  • PostgreSQL 删除check约束的实现

    删除check约束: 1.\d table_name 查找约束名称 \d dm_alarms_fct_20170613 "dm_alarms_fct_20170613_dm_transct_date_key_check" 2.alter table .. drop constraint .. ALTER TABLE "dm_alarms_fct_20170613" Drop constraint "dm_alarms_fct_20170613_dm_tra

  • Postgresql删除数据库表中重复数据的几种方法详解

    一直使用Postgresql数据库,有一张表是这样的: DROP TABLE IF EXISTS "public"."devicedata"; CREATE TABLE "public"."devicedata" ( "Id" varchar(200) COLLATE "pg_catalog"."default" NOT NULL, "DeviceId&qu

  • postgresql 实现更新序列的起始值

    迁移老数据到新的数据库,需要把id迁移过来,这时序列值就需要修改为当前最大值加1了. 使用这个语句就可以让s_seq的序列值从7开始了. alter sequence s_seq restart with 7; 补充:PostgreSQL设置主键自增.PostgreSQL重置主键自增从1开始,PostgreSQL清空表数据自增从1开始 PostgreSQL设置主键自增.PostgreSQL重置主键自增从1开始 自增字段 从1开始 清空表数据,自增从1开始 自增字段 PostgreSQL设置主键自

随机推荐