MySQL MaxCompute与AnalyticDB实现数据处理与转换过程详解

目录
  • 1、行转列函数
  • 2、判空函数
  • 3、时间函数
  • 4、建表语句

1、行转列函数

odps 中行转列函数 wm_concat,将列信息转成行显示,可指定分隔符。

语法格式

wm_concat(separator, string) ,其中separator为分隔符,支持字符串去重,即distinct.

select wm_concat('|',sku_id)
from t_business_order_odps
where
create_time >= '2022-09-30 00:00:00';

ads 中行转列函数 group_concat,即将列信息转成行显示,默认逗号分隔。如在mysql中查询表的所有列名。

select group_concat(COLUMN_NAME)
from information_schema.COLUMNS
where
TABLE_NAME = 't_business_order';

2、判空函数

odps 中判空函数 coalesce ,如若无运费,则显示为0。

select coalesce(freight_amount,0)
from t_business_order_odps
where
create_time >= '2022-09-30 00:00:00';

odps 中判断函数 decode ,如若无运费,则显示为0。

语法格式

decode(expression, search, result[, search, result]…[, default])

表示:三元运算符,即实现IF-THEN-ELSE分支选择的功能

select decode(order_amount,freight_amount,0)
from t_business_order_odps
where
create_time >= '2022-09-30 00:00:00';

ads 中判空函数 ifnull,如若无运费,则显示为0。

select ifnull(freight_amount,0)
from t_business_order
where
create_time >= '2022-09-30 00:00:00';

3、时间函数

odps 中 时间字段类型为 datetime,获取当前时间函数为 getdate()。

select coalesce(freight_amount,0),getdate() as etl_time
from t_business_order_odps
where
create_time >= '2022-09-30 00:00:00';

ads 中时间字段类型为 timestamp,获取当前时间函数为 now()。

select ifnull(freight_amount,0),now() as etl_time
from t_business_order
where
create_time >= '2022-09-30 00:00:00';

4、建表语句

odps 中 字符串字段类型为 string,时间字段类型为 datetime。

CREATE TABLE t_business_order_odps (
	prov_name string COMMENT '省名称',
	city_name string COMMENT '地市名',
	cty_name string COMMENT '区县名称',
	order_no string COMMENT '订单号',
	order_amount bigint COMMENT '运费',
	freight bigint COMMENT '运费',
	insert_month bigint COMMENT '插入月份',
	created_time datetime COMMENT '创建时间'
)
COMMENT '业务订单主表;

ads 中字符串字段类型为 varchar,时间字段类型为 timestamp。

CREATE TABLE t_business_orde (
	prov_name varchar COMMENT '省名称',
	city_name varchar COMMENT '地市名',
	cty_name varchar COMMENT '区县名称',
	order_no varchar COMMENT '订单号',
	order_amount bigint COMMENT '运费',
	freight bigint COMMENT '运费',
	insert_month bigint COMMENT '插入月份',
	created_time timestamp COMMENT '创建时间'
)
PARTITION BY HASH KEY (order_no) PARTITION NUM 128
TABLEGROUP ads_sc_rpt
OPTIONS (UPDATETYPE='batch')
COMMENT '业务订单主表';

知识梳理

OPTIONS 类型有两种

1)batch 批量表,即数据批量入库,适用于从odps同步到ads;

2)realtime 实时表,即数据单条入库,适用于日志等信息单条入库。

到此这篇关于MySQL MaxCompute与AnalyticDB实现数据处理与转换过程详解的文章就介绍到这了,更多相关MySQL MaxCompute与AnalyticDB内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • Mysql将查询结果集转换为JSON数据的实例代码

    Mysql将查询结果集转换为JSON数据 前言学生表学生成绩表查询单个学生各科成绩(转换为对象JSON串并用逗号拼接)将单个学生各科成绩转换为数组JSON串将数组串作为value并设置key两张表联合查询(最终SQL,每个学生各科成绩)最终结果 前言 我们经常会有这样一种需求,一对关联关系表,一对多的关系,使用一条sql语句查询两张表的所有记录,例:一张学生表,一张学生各科成绩表,我们想要用一条SQL查询出每个学生各科成绩: 学生表 CREATE TABLE IF NOT EXISTS `stu

  • mysql 数据类型转换的实现

    一.问题 有一张如下图所示的表,需要我们查出 result 值大于 reference_high值的数据 然后我们写了下面的SQL查询语句 SELECT i.result,i.reference_high FROM report_item i LEFT JOIN report r ON r.id=i.report_id WHERE r.org_id=54 AND r.report_status=1 AND r.add_date BETWEEN '2020-12-01' AND '2020-12-

  • MySQL MaxCompute与AnalyticDB实现数据处理与转换过程详解

    目录 1.行转列函数 2.判空函数 3.时间函数 4.建表语句 1.行转列函数 odps 中行转列函数 wm_concat,将列信息转成行显示,可指定分隔符. 语法格式 wm_concat(separator, string) ,其中separator为分隔符,支持字符串去重,即distinct. select wm_concat('|',sku_id) from t_business_order_odps where create_time >= '2022-09-30 00:00:00';

  • Python Pandas数据处理高频操作详解

    目录 引入依赖 算法相关依赖 获取数据 生成df 重命名列 增加列 缺失值处理 独热编码 替换值 删除列 数据筛选 差值计算 数据修改 时间格式转换 设置索引列 折线图 散点图 柱状图 热力图 66个最常用的pandas数据分析函数 从各种不同的来源和格式导入数据 导出数据 创建测试对象 查看.检查数据 数据选取 数据清理 筛选,排序和分组依据 数据合并 数据统计 16个函数,用于数据清洗 1.cat函数 2.contains 3.startswith/endswith 4.count 5.ge

  • Mysql的基础使用之MariaDB安装方法详解

    我首次用mysql是在ubuntu上,现在用的是linux 中的Red Hat 分支的centOS 7 ,安装时发现通常用的都是MariaDB 来代替mysql,通过资料查询发现Mariadb是mysql的其中的一种分支,由mysql的创始人带领的团队所开发的mysql分支的一种版本,因为mysql受到被Oracle收购后的日渐封闭与缓慢的更新,众多Linux发行版逐渐抛弃了这个人气开源数据库,使MySQL在各大Linux发行版中的失势由于不满MySQL被Oracle收购后的日渐封闭与缓慢的更新

  • MySql批量插入优化Sql执行效率实例详解

    MySql批量插入优化Sql执行效率实例详解 itemcontractprice数量1万左右,每条itemcontractprice 插入5条日志. updateInsertSql.AppendFormat("UPDATE itemcontractprice AS p INNER JOIN foreigncurrency AS f ON p.ForeignCurrencyId = f.ContractPriceId SET p.RemainPrice = f.RemainPrice * {0},

  • MySql在Mac上的安装与配置详解

    一.下载安装 官网下载社区版dmg安装文件: https://dev.mysql.com/downloads/mysql/ 1.执行安装文件,按步骤完成安装. 2.安装完成后终端输入: mysql --version; ----显示版本号说明正常,若显示command not found,在终端输入如下,"/usr/local/mysql/bin/mysql"为mysql默认安装路径: $ cd /usr/local/bin/ $ sudo ln -fs /usr/local/mysq

  • mysql的存储过程、游标 、事务实例详解

    mysql的存储过程.游标 .事务实例详解 下面是自己曾经编写过的mysql数据库存储过程,留作存档,以后用到的时候拿来参考. 其中,涉及到了存储过程.游标(双层循环).事务. [说明]:代码中的注释只针对当时业务而言,无须理会. 代码如下: DELIMITER $$ DROP PROCEDURE IF EXISTS `transferEmailTempData`$$ CREATE PROCEDURE transferEmailTempData(IN jobId VARCHAR(24)) BEG

  • MySql 5.7.17免安装配置教程详解

    1.下载mysql-5.7.17-winx64.zip安装包(链接:https://dev.mysql.com/downloads/mysql/) 2.解压安装包. D:\DevelopTool\mysql-5.7.17-winx64   #解压目录 3.在解压目录下创建一个名为data的文件夹,用来存放数据 D:\DevelopTool\mysql-5.7.17-winx64\data 4.配置启动文件 把 D:\DevelopTool\mysql-5.7.17-winx64\my-defau

  • MySQL 设计和命令行模式下建立详解

    MySQL 设计和命令行模式下建立详解 系列文章: MySQL 设计和命令行模式下建立详解 C++利用MySQL API连接和操作数据库实例详解 1.数据表的设计 MySQL数据库管理系统(DBMS)中,包含的MySQL中定义数据字段的类型对你数据库的优化是非常重要的.MySQL支持多种类型,大致可以分为三类:数值.日期/时间和字符串(字符)类型. 下面以大学熟悉的学生选课管理系统中用到的数据库为例,来设计相应的数据表.主要有三张表:学生表,课程表和选课表. 学生表设计: 字段(Field) 类

  • mysql 协议的ping命令包及解析详解及实例

    mysql 协议的ping命令包及解析详解 前言: MySQL客户端可以用ping命令来检查服务端的状态,正常会返回ok包. mysql通信报文结构 类型 名字 描述 int<3> payload长度 按照the least significant byte first存储,3个字节的payload和1个字节的序列号组合成报文头 int<1> 序列号 string payload 报文体,长度即为前面指定的payload长度 ping命令包 Payload [0e] COM_PIN

  • Linux下安装mysql 5.7.17.tar.gz的教程详解

    1.创建MySQL组和mysql用户 groupadd mysql useradd -r -g mysql mysql 2.拷贝: cp -R mysql-5.7.16-linux-glibc2.5-i686 /usr/local/mysql 3.创建data目录 mkdir /usr/local/mysql/data 3.安装数据库 切换到/usr/loca/mysql目录下 cd /usr/local/mysql 修改当前目录的所有者为mysql用户 chown -R mysql:mysql

随机推荐