postgresql数据合并,多条数据合并成1条的操作

对于主表中一条记录,对应明细表中的96条数据,每一条数据相隔15分钟,明细中没96条数据对应主表中的一个日期trade_date,并且每条明细中有一个字段start_time, 即明细中每96条数据中第一条数据中start_time为00:00,

第二条为00:15,第三条为00:30,依次类推,直到23:45 ,现在要将明细表中的96条数据合并成24条,即第一条数据中start_time为00:00,第二条为01:00,第三条为02:00

sql:select max(de.bid_num) report_num,concat(to_char(to_timestamp(concat(ru.trade_date,' ',de.start_time), 'YYYY-MM-DD HH24:mi') :: TIMESTAMP WITHOUT TIME ZONE, 'HH24 '),':00') dd from quote_trade_rule ru LEFT JOIN quote_trade_rule_detail de on ru.trade_rule_id = de.trade_rule_id
WHERE
  1 = 1
AND ru.market_id ='a29c81ed-2baf-4c42-881a-f1e64a41e1b0'
AND to_char(ru.trade_date, 'YYYY-MM-DD') ='2018-10-17'
AND ru.rule_type ='2' GROUP BY dd ,trade_date ORDER BY dd,trade_date

将10条主表数据对应的960条明细数据合并成如下24条数据:

补充:Postgresql中执行计划的合并连接

Merge Join

通常情况下,散列连接的效果比合并连接好,但如果源数据上有索引,或者结果已经被排过序,在执行排序合并连接时,就不需要排序了,这时合并连接的性能会优于散列连接。

下面示例中,people的id字段和dept01的depto字段都有索引,且从索引扫描的数据已经排好序,可以直接走Merge Join:

highgo=# explain select people.id from people,dept01 where people.id=dept01.deptno;
                      QUERY PLAN
-------------------------------------------------------------------------------------------------
 Merge Join (cost=0.86..64873.59 rows=1048576 width=4)
  Merge Cond: (people.id = dept01.deptno)
  -> Index Only Scan using people_pkey on people (cost=0.44..303935.44 rows=10000000 width=4)
  -> Index Only Scan using idx_deptno on dept01 (cost=0.42..51764.54 rows=1048576 width=2)
(4 行记录)

删除dept01上的索引,会发现执行计划中先对dept01排序后在走Merge Join,示例如下:

highgo=# explain select people.id from people,dept01 where people.id=dept01.deptno;
                      QUERY PLAN
-------------------------------------------------------------------------------------------------
 Merge Join (cost=136112.80..154464.29 rows=1048576 width=4)
  Merge Cond: (people.id = dept01.deptno)
  -> Index Only Scan using people_pkey on people (cost=0.44..303935.44 rows=10000000 width=4)
  -> Materialize (cost=136112.36..141355.24 rows=1048576 width=2)
     -> Sort (cost=136112.36..138733.80 rows=1048576 width=2)
        Sort Key: dept01.deptno
        -> Seq Scan on dept01 (cost=0.00..16918.76 rows=1048576 width=2)
(7 行记录)

上面执行计划中,可看到“Sort Key: dept01.deptno”,这就是对表dept01的id字段进行排序。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持我们。如有错误或未考虑完全的地方,望不吝赐教。

(0)

相关推荐

  • PostgreSQL 字符串拆分与合并案例

    我就废话不多说了,大家还是直接看代码吧~ with person_name as ( select c.id, array_to_string(array_agg(distinct p.c_name), ' , ') as p_name from biz_notification_config c join biz_notification_person p on p.id = any (string_to_array(c.persons, ',')::int[]) group by c.id

  • postgresql 实现sql多行语句合并一行

    多行语句合并一行 三个表关联查询的结果集为: SELECT users.name,users.age,users.birthday,roles.name FROM users,users_roles,roles WHERE users_roles.userid = users.id and users_roles.roleid = roles.id name age birthday role 张三 23 1993-1-1 role1 张三 23 1993-1-1 role2 张三 23 199

  • PostgreSQL实现批量插入、更新与合并操作的方法

    前言 就在 2019 年 1 月份微软收购了 PostgreSQL 数据库的初创公司 CitusData, 在云数据库方面可以增强与 AWS 的竟争.AWS 的 RDS 两大开源数据库就是 MySQL(Aurora 和 MariaDB 是它的变种) 和 PostgreSQL. 而 PostgreSQL 跳出了普通关系型数据库的类型约束,它灵活的支持 JSON, JSONB, XML, 数组等类型.比如说字段类型可以是各种形式的数组,一维或多维. create table t1( address

  • postgresql合并string_agg函数的实例

    1 有时候我们会需要将多条数据根据一些特别的字段做一些合并.比如下面这个查询,正常会查询出3条数据,但是我们会希望根据create_by 分成两列显示 2 这时候需要用到string_agg函数,先通过group by分组,在进行合并,当然查询结果需要满足group by的限制:sql语句: select create_by,string_agg(videoname,',') as videonames from w008_video_addr_info where id in (4248,53

  • PostgreSQL 实现将多行合并转为列

    需求将下列表格相同id的name拼接起来输出成一列 id Name 1 peter 1 lily 2 john 转化后效果: id Name 1 peter:lily 2 john: 实现方式使用 array_to_string 和 array_agg 函数,具体语句如下: string_agg(expression, delimiter) 把表达式变成一个数组 string_agg(expression, delimiter) 直接把一个表达式变成字符串 select id, array_to

  • postgresql数据合并,多条数据合并成1条的操作

    对于主表中一条记录,对应明细表中的96条数据,每一条数据相隔15分钟,明细中没96条数据对应主表中的一个日期trade_date,并且每条明细中有一个字段start_time, 即明细中每96条数据中第一条数据中start_time为00:00, 第二条为00:15,第三条为00:30,依次类推,直到23:45 ,现在要将明细表中的96条数据合并成24条,即第一条数据中start_time为00:00,第二条为01:00,第三条为02:00 sql:select max(de.bid_num)

  • mysql分组后合并显示一个字段的多条数据方式

    目录 mysql分组合并显示一个字段多条数据 表中数据如下 mysql多字段分组 mysql多字段分组 GROUP BY与ORDER BY一起使用(分组排序) 使用having过滤分组 mysql分组合并显示一个字段多条数据 首先我们有一张学生兴趣表(student_hobby),字段包括主键(id).姓名(name).兴趣(hobby) 表中数据如下 id name hobby 0 小明 篮球 1 小明 跑步 2 小华 读书 然后我们想让他显示成如下效果. name hobbies 小明 篮球

  • mysql实现合并同一ID对应多条数据的方法

    本文实例讲述了mysql实现合并同一ID对应多条数据的方法.分享给大家供大家参考,具体如下: 如 : CREATE TABLE `c_classuser_tab` ( `Id` int(11) NOT NULL AUTO_INCREMENT, `Classid` int(11) DEFAULT NULL, `Username` varchar(100) DEFAULT NULL, `studentid` varchar(100) DEFAULT NULL, `College` varchar(1

  • Python遍历目录下文件、读取、千万条数据合并详情

    目录 一.使用Python进行文件和文件夹的判断 二.使用Python完整的获取所有文件及文件夹并读取相应的文件 三.使用Python合并数据 append的使用 一.使用Python进行文件和文件夹的判断 递归 :主要目的就是遍历文件夹和文件 对文件夹和文件进行属性判断 首先对文件夹进行遍历,看文件夹里有什么样的文件,读取出文件夹中的所有文件 import os path= "./data" #路径 files = os.listdir(path) #os.listdir() 方法用

  • MySQL基于group_concat()函数合并多行数据

    一个很有用的函数 group_concat(),手册上说明:该函数返回带有来自一个组的连接的非NULL值的字符串结果. 通俗点理解,其实是这样的:group_concat()会计算哪些行属于同一组,将属于同一组的列合并显示出来.要返回哪些列,由函数参数(就是字段名)决定.分组必须有个标准,就是根据group by指定的列进行分组. 合并的字段分隔符默认为逗号,可通过参数separator指定. 比如在student表中,有如下5条数据: 有要求如下:"小明"的两行成绩可以放在一行展示,

  • Java编程通过匹配合并数据实例解析(数据预处理)

    本文研究的主要是Java编程通过匹配合并数据(数据预处理)的相关内容,具体如下. 数据描述 以下程序是对如下格式的数据进行合并处理. 这个表的每一行表示用户id及用户的特征.其中,一个用户只有一个特征向量,即第一列不会重复. 这张表的第一列,表示用户的id,第二列表示用户所看的电影,第三列表示用户对电影的打分(1-13分),第四列表示用户对电影的打分,但分值范围是1-5分. 问题描述 在做数据预处理时,如何将第二张表添加上用户特征呢?其实,方法很简单,将第二张表的用户id与第一张表的用户id进行

  • postgreSQL数据库 实现向表中快速插入1000000条数据

    不用创建函数,直接向表中快速插入1000000条数据 create table tbl_test (id int, info text, c_time timestamp); insert into tbl_test select generate_series(1,100000),md5(random()::text),clock_timestamp(); select count(id) from tbl_test; --查看个数据条数 补充:postgreSQL 批量插入10000条数据

  • R语言实现用cbind合并两列数据

    我有两个数据文件,分别只有一列,这两列数据行数一行,我想把这两列合并到一个数据文件中,方便使用. 我的两个数据文件分别是1.txt,2.txt,保存后的文件名是3.txt. // 代码如下 gow1<-read.table("1.txt",header = FALSE) gow2<-read.table("2.txt",header = FALSE) View(gow1) View(gow2) gow<-cbind(gow1,gow2) View(

  • sql语句将数据库一条数据通过分隔符切割成多列方法实例

    目录 需求场景 应对措施 效果展示 具体代码 总结 sql语句,将数据库一条数据通过分隔符切割成多列 需求场景应对措施效果展示具体代码 需求场景 在实际场景之中,我们有时候会遇到一种情况,就是数据库中某一字段存了很长的一段字符串,里面用了分隔符进行分割,但是很不直观,你想查一下数据库把这个字段下的数据,按分隔符切割出来,并划分到下面几列上面,但又苦于只能写sql.这种情况下应该怎么办呢. 应对措施 首先这种情况下,sql是可以完全满足需求的.sql在代码中不仅可以用curd,更可以对数据的查询做

  • postgresql 实现取出分组中最大的几条数据

    看代码吧~ WITH Name AS ( SELECT * FROM ( SELECT xzqdm, SUBSTRING (zldwdm, 1, 9) xzdm, COUNT (*) sl FROM sddltb_qc WHERE xzqdm IN ('130432', '210604') GROUP BY xzqdm, SUBSTRING (zldwdm, 1, 9) ) AS A ORDER BY xzqdm, xzdm, sl ) SELECT xzqdm, xzdm, sl FROM (

随机推荐