利用Mysql定时+存储过程创建临时表统计数据的过程

1.mysql定时任务简单介绍

mysql的定时任务是使用event(事件)来实现的,自mysql5.1.6版本起,增加了这个功能 - 事件调度器(event scheduler),它可以精确到每秒钟执行一个任务,在一些对数据实时性要求比较高的场景非常使用,接下来我将用mysql的event事件来实现定时统计数据。

2.准备工作

(1)查看定时策略是否开启

show variables like '%event_sche%';

执行结果如下

ON表示处于开启状态,如果是OFF则表示处于关闭状态,假设处于关闭状态,使用下面sql语句开启和关闭就行。

--开启定时调度策略(下面两个语句都可以)
set global event_scheduler=1;
set global event_scheduler = on;

--关闭定时调度策略(下面两个语句都可以)
set global event_scheduler=0;
set global event_scheduler = off;

关闭定时调度策略sql执行结果:

开启定时调度策略sql执行结果:

(2)执行用户信息表和用户订单表sql脚本

# 用户信息表
CREATE TABLE `user_info` (
    `id` INT ( 11 ) NOT NULL AUTO_INCREMENT COMMENT 'ID',
    `name` VARCHAR ( 30 ) NOT NULL COMMENT '用户名',
    `phone` VARCHAR ( 11 ) NOT NULL COMMENT '手机号',
    `status` TINYINT ( 1 ) NULL DEFAULT NULL COMMENT '用户状态:停用0,启动1',
    `create_time` datetime NOT NULL COMMENT '创建时间',
    PRIMARY KEY ( `id` ) USING BTREE
) ENGINE = INNODB AUTO_INCREMENT = 10001 CHARACTER
SET = utf8mb4 COLLATE = utf8mb4_general_ci COMMENT = '用户信息表';

# 用户订单表
CREATE TABLE `user_order`  (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'ID',
  `order_num` varchar(30) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '订单编号',
  `user_id` int(11) NOT NULL COMMENT '用户ID',
  `create_time` datetime NOT NULL COMMENT '创建时间',
  PRIMARY KEY (`id`) USING BTREE,
  UNIQUE INDEX `idx_order_num`(`order_num`) USING BTREE COMMENT '订单编号唯一'
) ENGINE = INNODB AUTO_INCREMENT = 10001 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci COMMENT = '用户订单表';

(3)执行插入测试数据sql脚本

# 向用户信息表中插入三条测试数据
INSERT INTO `user_info` (`id`, `name`, `phone`, `status`, `create_time`) VALUES (10001, '张三', '13900669010', 1, '2023-03-14 17:01:42');
INSERT INTO  `user_info` (`id`, `name`, `phone`, `status`, `create_time`) VALUES (10002, '李四', '13900669111', 1, '2023-03-14 17:01:42');
INSERT INTO  `user_info` (`id`, `name`, `phone`, `status`, `create_time`) VALUES (10003, '王五', '13900669876', 1, '2023-03-14 17:01:42');

# 向用户订单表中插入八条测试数据
INSERT INTO  `user_order` (`id`, `order_num`, `user_id`, `create_time`) VALUES (10001, 'dingdan001', 10002, '2023-03-14 17:03:40');
INSERT INTO  `user_order` (`id`, `order_num`, `user_id`, `create_time`) VALUES (10002, 'dingdan002', 10003, '2023-03-14 17:03:40');
INSERT INTO  `user_order` (`id`, `order_num`, `user_id`, `create_time`) VALUES (10003, 'dingdan003', 10002, '2023-03-14 17:03:40');
INSERT INTO  `user_order` (`id`, `order_num`, `user_id`, `create_time`) VALUES (10004, 'dingdan004', 10002, '2023-03-14 17:03:40');
INSERT INTO  `user_order` (`id`, `order_num`, `user_id`, `create_time`) VALUES (10005, 'dingdan005', 10003, '2023-03-14 17:03:40');
INSERT INTO  `user_order` (`id`, `order_num`, `user_id`, `create_time`) VALUES (10006, 'dingdan006', 10003, '2023-03-14 17:03:40');
INSERT INTO  `user_order` (`id`, `order_num`, `user_id`, `create_time`) VALUES (10007, 'dingdan007', 10002, '2023-03-14 17:03:40');
INSERT INTO  `user_order` (`id`, `order_num`, `user_id`, `create_time`) VALUES (10008, 'dingdan008', 10001, '2023-03-14 17:03:40');

(2)(3)中脚本执行完的结果:

3.编写存储过程脚本

DELIMITER //
DROP PROCEDURE
IF
    EXISTS statistics_user_order // CREATE PROCEDURE statistics_user_order () BEGIN
    DECLARE
        temp_table_name VARCHAR ( 60 ) DEFAULT '';
    DECLARE
        suffix VARCHAR ( 10 ) DEFAULT '';
    DECLARE
        old_table_name VARCHAR ( 60 ) DEFAULT NULL;
    SELECT
        table_name INTO old_table_name
    FROM
        information_schema.`TABLES`
    WHERE
        table_name LIKE 'temp_statistics_%'
        AND table_schema = 'db_name'; -- 此处填自己对应的数据库名即可
    IF
        old_table_name IS NOT NULL THEN
        -- execute multiple statements
        -- 如果IF THEN ... END IF块内有多个语句,最好将它们放在一个BEGIN ... END;块中
        BEGIN

                SET @drop_sql := CONCAT( 'DROP TABLE ', old_table_name, ';' );
            PREPARE d_sql
            FROM
                @drop_sql;
            EXECUTE d_sql;
            DEALLOCATE PREPARE d_sql;

        END;

    END IF;
    SELECT
        DATE_FORMAT( NOW(), '%Y%m%d' ) INTO suffix;

    SET temp_table_name = CONCAT( 'temp_statistics_', suffix );

    SET @create_sql = CONCAT( 'create table if not exists ', temp_table_name, "(
        `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'ID',
        `user_id` INT ( 11 ) NOT NULL COMMENT '用户ID',
        `name` VARCHAR ( 30 ) NOT NULL COMMENT '用户名',
        `number` INT ( 11 ) NOT NULL DEFAULT 0 COMMENT '订单数',
        `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
        PRIMARY KEY ( `id` ) USING BTREE
    ) ENGINE = INNODB AUTO_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci COMMENT = '用户订单统计表';" );
    PREPARE pre_stmt
    FROM
        @create_sql;
    EXECUTE pre_stmt;
    DEALLOCATE PREPARE pre_stmt;
    -- 简单的用set或者declare语句定义变量,然后直接作为sql的表名是不行的,mysql会把变量名当作表名。
    SET @insert_sql = CONCAT( 'INSERT INTO ', temp_table_name, "( `user_id`, `name`, `number` ) SELECT
        i.id AS `user_id`,
        i.`name` AS `name`,
        COUNT( o.user_id ) AS `number`
        FROM
        user_info i
        LEFT JOIN user_order o ON i.id = o.user_id
        WHERE
        i.`status` = 1
        GROUP BY
    i.id;" );
    PREPARE pre_insert
    FROM
        @insert_sql;
    EXECUTE pre_insert;
    DEALLOCATE PREPARE pre_insert;

END //
DELIMITER;

脚本执行结果:(注意:上述存储过程中的数据库不要忘记更改"AND table_schema = 'db_name'; -- 此处填自己对应的数据库名即可")

以上存储过程主要分为三个阶段

a.检查数据库中临时表是否存在,如果存在则删除表结构(移除老表)

b.根据当前时间创建新的临时表,表结构根据统计需要增加字段

c.联表查询,将每个用户所拥有的订单数量统计,并插入到临时表中去

4.编写和执行定时任务脚本

为了让大家看到更显著的效果,将定时任务设置为每10秒钟执行一次,也就是这个定时任务的功能是10s钟统计一次用户的订单数量。

create event job_statistics -- 是创建名为job_statistics的事件;
on schedule every 10 SECOND -- 创建周期定时的规则,意思是每10s种执行一次;
on completion preserve enable --  是表示创建后就开始生效,不让开始生效设置disable
do call statistics_user_order(); -- 事件要执行的内容,调用了上述的存储过程

脚本执行结果:

查看定时任务:

select * from information_schema.EVENTS;

脚本执行结果:

查看定时任务执行效果:(看下面的时间差,定时在刷新)

停止定时任务执行:

ALTER event job_statistics on completion preserve disable;

继续定时任务:

ALTER event job_statistics on completion preserve enable;

到此这篇关于利用Mysql定时+存储过程创建临时表统计数据的文章就介绍到这了,更多相关mysql创建临时表统计数据内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • mysql如何分别按年/月/日/周分组统计数据详解

    目录 1.统计 2.占位符 补充:Mysql如何指定日期按周分组,并按次数分类统计 总结 1.统计 我们可以使用date_format()函数格式化时间,然后进行分组操作 例如有一个学生表,结构如下 id name age height gender create_time 1 pan 27 169 1 2022-01-13 10:20:22 2 yang 18 177 1 2022-03-14 09:16:42 3 daisy 25 156 2 2022-07-19 19:58:03 -- 按

  • 详解mysql 获取某个时间段每一天、每一个小时的统计数据

    获取每一天的统计数据 做项目的时候需要统对项目日志做分析,其中有一个需求是获取某个给定的时间段内,每一天的日志数据,比如说要获取从2018-02-02 09:18:36到2018-03-05 23:18:36这个时间段内,统计出每一天的日志数据,一般情况下,看到这种需求都是考虑使用函数来搞定,直接上sql语句 SELECT DATE_FORMAT(trigger_time, '%Y-%m-%d') triggerDay, COUNT(id) triggerCount FROM `job_qrtz

  • MySQL 5.7临时表空间如何玩才能不掉坑里详解

    导读 MySQL 5.7的目标是成为发布以来最安全的MySQL服务器,其在SSL/TLS和全面安全开发方面有一些重要的改变. MySQL 5.7起支持独立临时表空间,但个别时候也可能会踩坑的. MySQL 5.7起,开始采用独立的临时表空间(和独立的undo表空间不是一回事哟),命名ibtmp1文件,初始化12M,且默认无上限. 选项 innodb_temp_data_file_path 可配置临时表空间相关参数. innodb_temp_data_file_path = ibtmp1:12M:

  • MySQL 如何设计统计数据表

    缓存型数据表通常在统计数据时会经常用到,因此也会叫统计性数据.举个例子来说,对于员工.部门数据表而言,我们可能会需要查询一个部门下有多少员工.这时候有三种方式实现: 在部门下增加一个员工数量的字段,每次对员工进行增.改.删操作时都需要同步更新员工数量(如果员工换部门,则需要更新多个部门的员工数量).这种方式能够保证实时性,但是却很低效.对于如果是操作不频繁时是没问题的,假设相当频繁,就意味着每次都需要操作两张表,而且业务代码都需要做埋点处理,将统计业务和普通业务深度耦合在一起了. 每次查询的时候

  • MySQL内部临时表的具体使用

    目录 UNION 表初始化 执行语句 UNION RESULT UNION ALL GROUP BY 内存充足 执行语句 执行过程 排序过程 ORDER BY NULL 内存不足 执行语句 优化方案 优化索引 直接排序 执行过程 对比DISTINCT 小结 参考资料 UNION UNION语义:取两个子查询结果的并集,重复的行只保留一行 表初始化 CREATE TABLE t1(id INT PRIMARY KEY, a INT, b INT, INDEX(a)); DELIMITER ;; C

  • MySQL中临时表的基本创建与使用教程

    当工作在非常大的表上时,你可能偶尔需要运行很多查询获得一个大量数据的小的子集,不是对整个表运行这些查询,而是让MySQL每次找出所需的少数记录,将记录选择到一个临时表可能更快些,然后在这些表运行查询. 创建临时表很容易,给正常的CREATE TABLE语句加上TEMPORARY关键字: CREATE TEMPORARY TABLE tmp_table ( name VARCHAR(10) NOT NULL, value INTEGER NOT NULL ) 临时表将在你连接MySQL期间存在.当

  • mysql聚合统计数据查询缓慢的优化方法

    写在前面 在我们日常操作数据库的时候,比如订单表.访问记录表.商品表的时候. 经常会处理计算数据列总和.数据行数等统计问题. 随着业务发展,这些表会越来越大,如果处理不当,查询统计的速度也会越来越慢,直到业务无法再容忍. 所以,我们需要先了解.思考这些场景知识点,在设计之初,便预留一些优化空间支撑业务发展. sql聚合函数 在mysql等数据中,都会支持聚合函数,方便我们计算数据. 常见的有以下方法 取平均值 AVG() 求和 SUM() 最大值 MAX() 最小值 MIN() 行数 COUNT

  • MySQL两种临时表的用法详解

    外部临时表 通过CREATE TEMPORARY TABLE 创建的临时表,这种临时表称为外部临时表.这种临时表只对当前用户可见,当前会话结束的时候,该临时表会自动关闭.这种临时表的命名与非临时表可以同名(同名后非临时表将对当前会话不可见,直到临时表被删除). 内部临时表 内部临时表是一种特殊轻量级的临时表,用来进行性能优化.这种临时表会被MySQL自动创建并用来存储某些操作的中间结果.这些操作可能包括在优化阶段或者执行阶段.这种内部表对用户来说是不可见的,但是通过EXPLAIN或者SHOW S

  • mysql临时表用法分析【查询结果可存在临时表中】

    本文实例讲述了mysql临时表用法.分享给大家供大家参考,具体如下: 一.创建临时表可以将查询结果寄存.报表制作的查询sql中可以用到. (1)关于寄存方式,mysql不支持: select * into tmp from maintenanceprocess (2)可以使用: create table tmp (select ...) 举例: #单个工位检修结果表上部 drop table if EXISTS tmp_单个工位检修结果表(检查报告)上部; create table tmp_单个

  • 利用Mysql定时+存储过程创建临时表统计数据的过程

    1.mysql定时任务简单介绍 mysql的定时任务是使用event(事件)来实现的,自mysql5.1.6版本起,增加了这个功能 - 事件调度器(event scheduler),它可以精确到每秒钟执行一个任务,在一些对数据实时性要求比较高的场景非常使用,接下来我将用mysql的event事件来实现定时统计数据. 2.准备工作 (1)查看定时策略是否开启 show variables like '%event_sche%'; 执行结果如下 ON表示处于开启状态,如果是OFF则表示处于关闭状态,

  • Mysql使用存储过程快速添加百万数据的示例代码

    前言 为了体现不加索引和添加索引的区别,需要使用百万级的数据,但是百万数据的表,如果使用一条条添加,特别繁琐又麻烦,这里使用存储过程快速添加数据,用时大概4个小时. 创建一个用户表 CREATE TABLE `t_sales` ( `id` int(11) NOT NULL AUTO_INCREMENT, `username` varchar(32) COLLATE utf8_bin DEFAULT NULL COMMENT '用户名', `password` varchar(64) COLLA

  • 深度解析MySQL 5.7之临时表空间

    临时表 临时表顾名思义,就是临时的,用完销毁掉的表. 数据既可以保存在临时的文件系统上,也可以保存在固定的磁盘文件系统上. 临时表有下面几种: 1.全局临时表 这种临时表从数据库实例启动后开始生效,在数据库实例销毁后失效.在MySQL里面这种临时表对应的是内存表,即memory引擎. 2.会话级别临时表 这种临时表在用户登录系统成功后生效,在用户退出时失效.在MySQL里的临时表指的就是以create temporary table 这样的关键词创建的表. 3.事务级别临时表 这种临时表在事务开

  • mysql 5.7更改数据库的数据存储位置的解决方法

    随着MySQL数据库存储的数据逐渐变大,已经将原来的存储数据的空间占满了,导致mysql已经链接不上了.因此,必须要给存放的数据换个地方了.下面是操作过程中的一些步骤.记下来,以后日后查看. 1.修改mysql数据存放的目录 要修改两个地方,其一是修改/etc/my.cnf文件中的datadir.默认情况下: datadir=/var/lib/mysql 因为我的/data/目录比较大,所以将其改为: datadir=/data/mysql/ 还要修改/etc/init.d/mysqld文件,将

  • Mysql数据库存储过程基本语法讲解

    drop procedure sp_name// 在此之前,小编给大家讲述过MYSQL语法的基本知识,本篇内容,小编通过下面的一个实例,给读者们通过实战中的代码讲解一下基本语法的知识. 一般情况下MYSQL以:结尾表示确认输入并执行语句,但在存储过程中:不是表示结束,因此可以用该命令将:号改为//表示确认输入并执行.存储过程如同一门程序设计语言,同样包含了数据类型.流程控制.输入和输出和它自己的函数库. 一.创建存储过程 1.基本语法: create procedure sp_name() be

  • MySQL定时备份方案(利用Linux crontab)

    前言 虽说现在这世道有些爱情是有价的,但是数据是无价的,数据备份是尤为的重要,可以在你未来的某一天不小心删库了,不用着急跑路. 本片文章介绍的方案是利用Linux自身的crontab定时任务功能,定时执行备份数据库的脚本. 技术要点: 数据库备份dump命令 shell脚本 Linux定时任务crontab 数据备份dump 数据库都有一个导出数据库内数据和结构的命令,就是备份. 将备份的数据还原会将原来的数据中的表删了重建,再插入备份中的数据,这是恢复. 这一点需要注意,如果恢复之前的数据比备

  • centos7中如何利用crontab进行mysql定时备份

    目录 centos7用crontab进行mysql定时备份 备注 附crontab文件的一些例子 总结 centos7用crontab进行mysql定时备份 1.建立 mysql3306_backup.sh 文件 文件名及路径可以自定义,个人习惯将脚本.脚本日志.备份的数据放在mysql的data路径下,方便查找 mysql3306_backup.sh内容: #!/bin/bash # 以下配置信息请自己修改 mysql_user="USER" #MySQL备份用户 mysql_pas

  • mysql临时表插入数据方式

    目录 mysql临时表插入数据 临时表 mysql中临时表(TEMPORARY) 语法 功能 检查是否存在临时表 与MEMORY比较 mysql临时表插入数据 临时表 1.在数据库断开连接的时候会自动删除临时表. create temporary table IF NOT EXISTS client.getstucou( type_id int )Engine=InnoDB default charset utf8; 注意:在存储过程中创建了临时表的情况的话,在外面使用查询语句是找不到这张表的.

  • Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL

    Mysql load data的使用 数据库中,最常见的写入数据方式是通过SQL INSERT来写入,另外就是通过备份文件恢复数据库,这种备份文件在MySQL中是SQL脚本,实际上执行的还是在批量INSERT语句. 在实际中,常常会遇到两类问题:一类是数据导入,比如从word.excel表格或者txt文档导入数据(这些数据一般来自于非技术人员通过OFFICE工具录入的文档):一类数据交换,比如从MySQL.Oracle.DB2数据库之间的数据交换. 这其中就面临一个问题:数据库SQL脚本有差异,

随机推荐