java实现往hive 的map类型字段写数据

2024-09-30 05:48:00

往hive 的map类型字段写数据

该表的该字段类型是map<string,string>

对应类的该属性的类型需要定义成String，不可定义成Map<String,String> ！！

方法1：

建表语句定义map的分隔符：

row format delimited
  fields terminated by '|'
  collection items terminated by ','
  map keys terminated by ':'
  NULL DEFINED AS ''

然后在java中封装好map后，不可直接把map.toString()的字符串写入字段（会有“=”，不能正确组成JSON格式的内容），也不可序列化为JSON格式的字符串后写入字段（会加很多“\”）！需要自己定义toString的方法：

    public static String insertToMap(Map<String, String> map) {
        StringBuilder sb = new StringBuilder();
        Set<String> set = map.keySet();
        for (String s : set) {
            sb.append(s).append(":").append(StringUtils.isBlank(map.get(s)) ? "NULL" : map.get(s)).append(",");
        }
        String str = sb.toString();
        return str.substring(0, str.length() - 1);
    }

字符串是不带双引号和两端花括号的字符串，这样插入到字段时，hive会自动为key和value都添加双引号，也会在两端添加花括号！（为啥为空时需要把value设置成NULL?如果为空不写时，怕hive处理时出错，可能会处理成带四个双引号的NULL，所以手动指定空为"NULL"字符串）

方法2：

建表语句不用定义map的分隔符：

然后在java中封装好map后，不可直接把map.toString()的字符串写入字段，也不可序列化为JSON格式的字符串后写入字段！需要自己定义toString的方法：

    public static String insertToMap(Map<String, String> map) {
        StringBuilder sb = new StringBuilder();
        Set<String> set = map.keySet();
        for (String s : set) {
            sb.append(s).append("\003").append(StringUtils.isBlank(map.get(s)) ? "NULL" : map.get(s)).append("\002");
        }
        String str = sb.toString();
        return str.substring(0, str.length() - 1);
    }

得到的则是正确的字段内容！

hive中默认是用“\003”分隔key与value,用“\002”分隔两个键值对！

以上是今天尝试好几种方法整理后的结论！

hive-map类型字段的定义与插入

map类型定义了一种kv结构，在hive中经常使用。

如何定义map类型呢？

create table employee(id string, perf map<string, int>)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':';

其中fields是字段分隔符，collection是每个kv对的分隔符，map keys是k与v的分隔符。

导入数据时，只需要按对应分隔符处理好数据即可。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。

Java 将List中的实体类按照某个字段进行分组并存放至Map中操作

1.JDK1.8之前: 假设有实体类User,里面有字段id,我们将相同id的User进行分组,并存放在Map中.(例子不是很恰当,但很能说明问题) public static void main(String[] args) { List<User> list = new ArrayList<>(); list.add(new User(1, 1)); list.add(new User(1, 2)); list.add(new User(2, 1)); list.add(new
Java8中利用stream对map集合进行过滤的方法

前言 Stream 是用函数式编程方式在集合类上进行复杂操作的工具,其集成了Java 8中的众多新特性之一的聚合操作,开发者可以更容易地使用Lambda表达式,并且更方便地实现对集合的查找.遍历.过滤以及常见计算等. 最近公司在大张旗鼓的进行代码审核,从中也发现自己写代码的不好习惯.一次无意的点到了公司封装的对map集合过滤的方法,发现了stream.于是研究了一下.并对原有的代码再次结合Optional进行重构下原有方法说明主要处理过滤条件Map对象,过滤掉了null和空字符串等操作这
Java lambda list转换map时,把多个参数拼接作为key操作

我就废话不多说了,大家还是直接看代码吧~ Map<String, Parts> partsMap = synList.stream().collect(Collectors.toMap(k -> k.getOe()+k.getOeId()+k.getPartGroupId()+k.getStdPartId()+k.getBrandCode(), part -> part)); 补充知识:Java8 Collectors.toMap的两个大坑 Collectors.toMap()方法
Spring 配置文件字段注入到List、Map

今天给大家分享冷门但是有很实小知识,Spring 配置文件注入list.map.字节流. list 注入 properties文件 user.id=3242,2323,1 使用spring el表达式 @Value("#{'${user.id}'.split(',')}") private List list; yaml 文件在yml配置文件配置数组方式 number: arrays: - One - Two - Three @Value("${number.arrays}
MyBatis中传入参数parameterType类型详解

前言 Mybatis的Mapper文件中的select.insert.update.delete元素中有一个parameterType属性,用于对应的mapper接口方法接受的参数类型.本文主要给大家介绍了关于MyBatis传入参数parameterType类型的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. 1. MyBatis的传入参数parameterType类型分两种 1. 1. 基本数据类型:int,string,long,Date; 1. 2. 复杂数据类
java实现往hive 的map类型字段写数据

往hive 的map类型字段写数据该表的该字段类型是map<string,string> 对应类的该属性的类型需要定义成String,不可定义成Map<String,String> !! 方法1: 建表语句定义map的分隔符: row format delimited fields terminated by '|' collection items terminated by ',' map keys terminated by ':' NULL DEFINED AS '' 然
java如何通过FileOutputStream字节流向文件中写数据

目录通过FileOutputStream字节流向文件中写数据 java 字节流向文件中写入指定内容字符流就像这样字符流则是总结通过FileOutputStream字节流向文件中写数据使用FileOutputStream写入文件的总体过程为用File存放文件地址用FileOutputStream打开输出流用write函数写入数据 close函数关闭输出流用File打开本地文件() //第一步用File打开本地文件 File f = new File("C:\\my_file
Mysql json类型字段Java+Mybatis数据字典功能的实践方式

目录前言应用场景介绍数据字典案例实践表结构实体类关系映射泛型擦除问题解决(7.21新增) 效果展示总结前言 JSON类型是MySQL5.7.8中新加入的一种数据类型,并在后续版本尤其是MySQL8.0中得到了大幅增强,现在的JSON类型的功能十分强大,合理使用能让我们的开发更加有效! 但本文不准备花篇幅来介绍MySQL的JSON类型字段的相关API,因为官方文档里面写得已经十分详细了,大家如果对MySQL的JSON类型还不怎么了解的话可以看看官方文档: MySQL5.7 JSO
Java将Date日期类型字段转换成json字符串的方法

想必我们在做项目的时候,都会遇到服务端与客户端交互数据.一般情况下我们都会采用json格式或者xml格式,将服务端的数据转换成这两种格式之一. 但是,如果我们将数据转换成json格式的时候,我们也许会遇到Date日期型的数据转换成json格式后,并不是我们想要的格式.下面我们通过简单的demo 来说明这个问题. 我们按照一般json格式生成,会出现以下问题: 采用json:将数据生成json格式,需要导入相应的jar包,如下图: Student.java package com.xbmu.bea
mybatis返回map类型数据空值字段不显示的解决方案

目录 mybatis返回map数据空值字段不显示查询sql添加每个字段的判断空 ResultType利用实体返回 springMVC+mybatis查询数据 mybatis返回map空值未返回字段 mybatis开启CallSettersOnNulls mybatis返回map数据空值字段不显示查询sql添加每个字段的判断空 IFNULL(rate,'') as rate ResultType利用实体返回不用map springMVC+mybatis查询数据返回resultType=”m
深入浅析mybatis oracle BLOB类型字段保存与读取

一.BLOB字段 BLOB是指二进制大对象也就是英文Binary Large Object的所写,而CLOB是指大字符对象也就是英文Character Large Object的所写.其中BLOB是用来存储大量二进制数据的:CLOB用来存储大量文本数据.BLOB通常用来保存图片.文件等二进制类型的数据. 二.使用mybatis操作blob 1.表结构如下: create table BLOB_FIELD ( ID VARCHAR2(64 BYTE) not null, TAB_NAME VARC
java反射机制给实体类相同字段自动赋值实例

一.封装一个工具类 1.简易版 package net.aexit.construct.acceptance.websky.utils; import java.lang.reflect.Field; import java.lang.reflect.Method; import java.util.HashMap; import java.util.Iterator; import java.util.Map; public class ClassReflection { /** * @par
mybatis 返回Map类型key改为小写的操作

默认情况下,当resultType="java.util.Map"时,返回的key值都是大写的. 现在想key改成自己想要的,只需为查询出来的字段增加个别名即可. 如: <select id="getStudentList" resultType="java.util.Map"> select t.name as "sName",t.sex as "sSex" from student <
mybatis 返回Map类型key默认为大写问题

目录返回Map类型key默认为大写在工作中发现的问题修改方法关于mybatis返回map的坑 Map中key是分大小写的返回Map类型key默认为大写在工作中发现的问题默认情况下,当resultType="java.util.Map"时,返回的key值都是大写的!! <select id="getSystemDataOutZxwtList" resultType="java.util.Map"> </select&
Java中JavaBean对象和Map的互相转换方法实例

目录 1.JavaBean转Map 1.1.简介 1.2.反射知识 1.3.简单转换 1. 4.属性里面套属性转换 1. 5.总结 2.Map转JavaBean对象 2.1.简介 2.2.Introspector介绍 2.3.BeanInfo介绍 2.4用反射实现转换 2.5.利用Introspector(内省)的方式转换总结 1.JavaBean转Map 1.1.简介这篇博客是通过反射来进行实现转换的在学习redis中,发现了一个知识点,就是Java对象转map,视频中的内容是通过hut