PostgreSQL 自动Vacuum配置方式

PostgreSQL的Vacuum由于以下原因需要定期执行。

释放,再利用因更新或者删除更新而占用的磁盘空间。

更新PostgreSQL 查询计划用的统计数据。

避免事务ID的重置而引起非常老的数据丢失。

VACUUM 的标准SQL文的执行和其他的对数据库的实际操作可以并行处理。

SELECT 、INSERT 、UPDATE 、DELETE 等命令和同通常一样继续能够执行。

但是,VACUUM处理中的时候, ALTER TABLE ADD COLUMN等等的命令不能够对表进行重新定义。

还有,由于执行VACUUM 的时候,有大量的I/O操作,其他的操作可能性能比较低,比如查询的反应非常慢。为了较少对性能的影响,可以通过参数来调整。

autovacuum (boolean ):

数据库服务器是否设置为自动vacuum。默认为 自动vacuum。 但是如果要让vacuum能够正常运转,必须使 track_counts 有效。 track_counts这个参数在 postgresql.conf配置文件内,或者通过命令来设置。

即使设置不是自动vacuum。系统发现有防止事务ID的重置的必要的时候也会自动启动

log_autovacuum_min_duration (integer ):

设置执行时间超过多长 的vacuum才输出log。时间单位毫秒。

如果这个参数设置为0的话,所有vacuum相关 的log都输出。

如果这个参数设置为-1的话,这个也是默认设置。log的输出无效,也就是所有vacuum相关 的log都不输出。

这个参数的设置可以修改postgresql.conf配置文件,也可以通过命令来设置。

autovacuum_max_workers (integer ):

设置能够同时执行的vacuum最大进程数。 默认是3个。

这个参数的设置可以修改postgresql.conf配置文件,也可以通过命令来设置。

autovacuum_naptime (integer ):

设置数据库执行vacuum的最小延迟。时间单位是分。默认是1分钟。这个参数的设置可以修改postgresql.conf配置文件,也可以通过命令来设置。

autovacuum_vacuum_threshold (integer ):

设置任何一张表内触发VACUUM 的 更新,删除tuple的最小数。默认为50。

这个参数的设置可以修改postgresql.conf配置文件,也可以通过命令来设置。这个设定通过 pg_autovacuum的项目可以覆盖每张表。

autovacuum_analyze_threshold (integer ):

设置任何一张表内触发ANALYZE 的更新,删除tuple的最小数。默认为50。

这个参数的设置可以修改postgresql.conf配置文件,也可以通过命令来设置。这个设定通过 pg_autovacuum的项目可以覆盖每张表。

autovacuum_vacuum_scale_factor (floating point ):

是否触发VACUUM的判断的时候 、设置 autovacuum_vacuum_threshold 追加的表容量断片。默认是0.2(即20%)。

这个参数的设置可以修改postgresql.conf配置文件,也可以通过命令来设置。这个设定通过 pg_autovacuum的项目可以覆盖每张表。

autovacuum_analyze_scale_factor (floating point ):

是否触发 ANALYZE 的判断的时候 、设置 autovacuum_vacuum_threshold 追加的表容量断片。默认是0.1(即10%)。

这个参数的设置可以修改postgresql.conf配置文件,也可以通过命令来设置。这个设定通过 pg_autovacuum的项目可以覆盖每张表。

autovacuum_freeze_max_age (integer ):

为了防止事务ID的重置,VACUUM强制操作前,设置表的 pg_class .relfrozenxid字段的最大值。默认是2亿。

这个参数只能够在启动的时候设置。

autovacuum_vacuum_cost_delay (integer ):

设置自动vacuum操作中cost延迟。默认是20毫秒。设置的为-1的话,使用vacuum_cost_delay的值。

这个参数的设置可以修改postgresql.conf配置文件,也可以通过命令来设置。这个设定通过 pg_autovacuum的项目可以覆盖每张表。

autovacuum_vacuum_cost_limit (integer ):

设置自动vacuum操作中cost的最大界限值。默认是-1,这时候用vacuum_cost_limit的值。 这个参数的设置可以修改postgresql.conf配置文件,也可以通过命令来设置。这个设定通过 pg_autovacuum的项目可以覆盖每张表。

补充:PostgreSQL数据库管理:定期vacuum

为什么PostgreSQL数据库管理工作中,定期vacuum是一个重要的工作.

原因在于以下3点:

释放,再利用 更新/删除的行所占据的磁盘空间.

更新PostgreSQL查询计划中使用的统计数据.

防止因事务ID的重置而使非常老的数据丢失.

第一点的原因是

PostgreSQL数据的插入,更新,删除操作并不是真正放到数据库空间.如果不定期释放空间的话,由于数据太多,查询速度会巨降.

第二点的原因是

PostgreSQL在做查询处理的时候,为了是查询速度提高,会根据统计数据来确定执行计划.如果不及时更新的话,查询的效果可能不如预期.

第三点的原因是

PostgreSQL中每一个事务都会产生一个事务ID,但这个数字是有上限的. 当事务ID达到最大值后,会重新从最小值开始循环.这样如果不及时把以前的数据释放掉的话,原来的老数据会因为事务ID的丢失而丢失掉.

话说回来vacuum操作可以手动和自动.如果有专门的数据库维护人员的话,可以适时进行.但很多系统为了节省维护成本,这样就需要依赖自动vacuum了.

虽说定期vacuum是PostgreSQL的一个弱点,不过在8.3版本以后,把这个任务交给自动vacuum就可以了.

要使自动vacuum有效,必须设置track_counts参数为true.具体的设置可以参照官方的文档.

定期vacuum还是自己写一个shell来自动执行比较好.

在shell中执行vacuumdb命令. 例: ./vacuumdb -d databaseName --analyze

以上为个人经验,希望能给大家一个参考,也希望大家多多支持我们。如有错误或未考虑完全的地方,望不吝赐教。

(0)

相关推荐

  • 基于PostgreSQL pg_hba.conf 配置参数的使用说明

    pg_hba.conf 配置详解 该文件位于初始化安装的数据库目录下 编辑 pg_hba.conf 配置文件 postgres@clw-db1:/pgdata/9.6/poc/data> vi pg_hba.conf TYPE 参数设置 TYPE 表示主机类型,值可能为: 若为 `local` 表示是unix-domain的socket连接, 若为 `host` 是TCP/IP socket 若为 `hostssl` 是SSL加密的TCP/IP socket DATABASE 参数设置 DATA

  • PostgreSQL归档配置及自动清理归档日志的操作

    在一般的生产环境中,数据库都需要开启归档模式,那么在pg中如何开启归档模式呢? pg中的归档配置涉及几个参数如下: # - Archiving - 是否开启归档 #archive_mode = off # enables archiving; off, on, or always # (change requires restart) 归档命令,注意 %p %f %% 格式化的含义. %p 是被归档的redo文件的路径, %f 是被归档的redo文档的文件名 %% 是百分号 #archive_c

  • PostgreSQL 逻辑复制 配置操作

    #### PostgreSQL Logical Replication (逻辑复制) #### Logical Replication (逻辑复制) 为PostgreSQL自己提供的一种方案,主要是通过一方 发布,一方订阅,来实现彼此共同关注的一种技术. 服务器 | 功能 | 10.10.56.16 | 发布者 P1_pub表 | | 10.10.56.17 | 发布者 P2_pub表 | | 10.10.56.19 | 订阅者 P_sub表 | 背 景 一些数据根据业务拆分成一部分P1表.一部

  • postgresql 性能参数配置方式

    查询Linux服务器配置 在进行性能调优之前,需要清楚知道服务器的配置信息,比如说 CPU,内存,服务器版本等信息. 查询系统版本信息 root@ubuntu160:~# lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 14.04.3 LTS Release: 14.04 Codename: trusty Linux查看物理CPU个数.核数.逻辑CPU个数 # 总核数

  • Postgresql的日志配置教程详解

    背景 公司的项目中使用了postgresql(简称pg)作为其数据库管理系统,前两天环境突然崩溃了,页面无法打开.经过排查,我发现是数据库所在机器磁盘满了,通过目录和文件排序,原来是pg的日志太多(大约保留了大半年的日志在磁盘上没有被清理). 我看了下pg的日志配置,发现基本都是用的默认配置,日志滚动没有开启,于是乎做了下相关配置优化后对pg进行重启,最后看了pg的日志滚动,恢复正常了.以下是我梳理的关于pg的日志配置项. 配置详解 配置文件:postgresql.conf 配置1:日志开启与关

  • postgresql安装及配置超详细教程

    1. 安装 根据业务需求选择版本,官网下载 yum install https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm yum install postgresql96 postgresql96-server rpm -qa|grep postgre 初始化数据库 执行完初始化任务之后,postgresql 会自动创建和生成两个用户和一个数据库:

  • PostgreSQL 性能优化之服务器参数配置操作

    大家好!我是只谈技术不剪发的 Tony 老师.今天我们来聊聊 PostgreSQL 的性能优化:数据库优化是一个系统的工程,本文只专注于服务器的参数配置优化. 默认安装时,PostgreSQL 的配置参数通常都偏小,不太适合作为生产服务器使用.所以,安装 PostgreSQL 数据库之后首先需要执行的操作就是对服务器的配置参数进行调整. 查看/设置参数值 我们使用 PostgreSQL 12,服务器的配置参数有 300 多个,运行时的参数值可以使用 SHOW 命令查看: show server_

  • PostgreSQL 自动Vacuum配置方式

    PostgreSQL的Vacuum由于以下原因需要定期执行. 释放,再利用因更新或者删除更新而占用的磁盘空间. 更新PostgreSQL 查询计划用的统计数据. 避免事务ID的重置而引起非常老的数据丢失. VACUUM 的标准SQL文的执行和其他的对数据库的实际操作可以并行处理. SELECT .INSERT .UPDATE .DELETE 等命令和同通常一样继续能够执行. 但是,VACUUM处理中的时候, ALTER TABLE ADD COLUMN等等的命令不能够对表进行重新定义. 还有,由

  • Windows下Postgresql下载与配置方法

    注意下载的是二进制版,不是带Windows Installer的,即绿色版本 http://www.enterprisedb.com/products-services-training/pgbindownload x86下载:postgresqwindows x64下载:postgresqwindowsx64 执行下列步骤前,暂作以下假定: PostgreSQL拟装在d:\postgresql 数据库以后拟存放在d:\postgresql\data 首先下载postgresql-9.2.4-1

  • spring、mybatis 配置方式详解(常用两种方式)

    在之前的文章中总结了三种方式,但是有两种是注解sql的,这种方式比较混乱所以大家不怎么使用,下面总结一下常用的两种总结方式: 一. 动态代理实现 不用写dao的实现类 这种方式比较简单,不用实现dao层,只需要定义接口就可以了,这里只是为了记录配置文件所以程序写的很简单: 1.整体结构图: 2.三个配置文件以及一个映射文件 (1).程序入口以及前端控制器配置 web.xml <?xml version="1.0" encoding="UTF-8"?> &

  • Spring 3.x中三种Bean配置方式比较详解

    以前Java框架基本都采用了XML作为配置文件,但是现在Java框架又不约而同地支持基于Annotation的"零配置"来代替XML配置文件,Struts2.Hibernate.Spring都开始使用Annotation来代替XML配置文件了:而在Spring3.x提供了三种选择,分别是:基于XML的配置.基于注解的配置和基于Java类的配置. 下面分别介绍下这三种配置方式:首先定义一个用于举例的JavaBean. package com.chinalife.dao public cl

  • Spring中Properties的配置方式

    对 Spring 里面的 Properties 不理解的开发者可能会觉得有点乱,主要是因为配置方式很多种,使用方式也很多种. 本文不是原理分析.源码分析文章,只是希望可以帮助读者更好地理解和使用 Spring Properties. Properties 的使用 本文的读者都是使用过 Spring 的,先来看看 Properties 是怎么使用的,Spring 中常用的有以下几种使用方式: 1. 在 xml 配置文件中使用 即自动替换 ${} 里面的值. <bean id="xxx&quo

  • linux网络NAT配置方式详解

    本文为大家分享了linux网络NAT配置方式,供大家参考,具体内容如下 NAT访问的权限如下: 外网不可以访问虚拟机,主机和虚拟机可以互访,网络和主机也可以互访: 1.打开虚拟机--编辑--虚拟网络编辑器--. 2. 3.进入虚拟机的linux系统点击网络 4. 5.点击ipv4 6.配置虚拟机的ip ip地址前三位要和网关前三位保持一致 子网掩码都是一样的 网关要和虚拟机编辑器的网关保持一致 6.1.查看网关 7.打开本地网络连接--更改适配器--找到vMware8 有的可能不一样 把鼠标放上

  • spring+apollo动态获取yaml格式的配置方式

    默认spring装载的都是.properties格式的配置文件,但是有时我们需要定义list或者map类型的配置,那么yaml就具有优势. 以下演示利用apollo来完成自动更新ip白名单的功能 1.重写配置工厂 public class YmlPropertySourceFactory extends DefaultPropertySourceFactory { public PropertySource<?> createPropertySource(String name, Encode

  • 详解springboot的多种配置方式

    java配置主要靠java类和一些注解,比较常用的注解有: @Configuration :声明一个类作为配置类,代替xml文件 @Bean :声明在方法上,将方法的返回值加入Bean容器,代替 标签 @Value :基本类型或String属性注入 @PropertySource :指定外部属性文件 后面以Druid连接池配置为例,数据库名称为springboot_test 方式一 <!--pom.xml --> <dependency> <groupId>com.al

随机推荐