mybatis水平分表实现动态表名的项目实例

目录
  • 一、水平分表
  • 二、项目实现
    • 目录结构
  • 三、扩展

一、水平分表

  • 当业务需求的数据量过大时,一个表格存储数据会非常之多,故时长采用水平分表的方式来减少每张表的数据量即是提升查询数据库时的效率。
  • 水平分表时,各表的结构完全一样,表名不同。
  • 例如:这里我们建了10张user表,每张表的结构完全一致,表名由0~9。
  • 表中包含有id和name属性且都采用varchar的存储类型。
  • 为什么id没有采用int自增的形式?
  • 大型项目极有可能采用分布式数据库,若采用自增的方式,会导致id重复。且id也不一定只是由纯数字组成,id不由数据库自主生成后,可在后台代码中是使用工具类进行id生成。

二、项目实现

目录结构

不需要的文件我已经手动马赛克,避免干扰。
简单以一个用户信息的新增和查询为例子。

pom.xml

本次使用mybatis+mybatis-plus为例。

        <!--spring mybatis-->
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>2.2.0</version>
        </dependency>

        <!--mybatis-plus-->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.4.3.1</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>

application.yaml

server:
  port: 9090
spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://localhost:3306/test?serverTimezone=UTC&useUnicode=true&characterEncoding=utf8
    username: root
    password: root

mybatis-plus:
  mapper-locations: classpath:mybatis/*.xml #mapper位置
  type-aliases-package: com/example/demo/po #设置别名,类名的小写

工具类

R返回类

package com.example.demo.utils;

import com.example.demo.utils.inter.ResultCode;
import lombok.Data;

import java.util.HashMap;
import java.util.Map;

@Data
public class R<T> {

  private Boolean success;

  private Integer code;

  private String message;

  private T data;

  public R() {
  }

  public static <T> R<T> ok(){
      R<T> r = new R<>();
      r.setSuccess(true);
      r.setCode(ResultCode.SUCCESS);
      r.setMessage("成功");
      return r;
  }
  public static <T> R<T> error() {
      R<T> r = new R<>();
      r.setSuccess(false);
      r.setCode(ResultCode.ERROR);
      r.setMessage("失败");
      return r;
  }

  public R<T> success(Boolean success) {
      this.setSuccess(success);
      return this;
  }

  public R<T> message(String message) {
      this.setMessage(message);
      return this;
  }

  public R<T> code(Integer code) {
      this.setCode(code);
      return this;
  }

  public void setData(T data) {
      this.data = data;
  }

  public R<T> data(T data) {
      this.setData(data);
      return this;
  }

  public R<T> setReLoginData() {
      Map<String, Integer> resultMap = new HashMap<>();
      resultMap.put("code", -100);
      this.data((T) resultMap);
      return this;
  }

  public R<T> setErrorCode(Integer errorCode) {
      Map<String, Integer> resultMap = new HashMap<>();
      resultMap.put("errorCode", errorCode);
      this.data((T) resultMap);
      return this;
  }
}

通过封装的返回类来实现数据的返回,同时可以自定义返回code(各种错误码),便于项目规范即管理。

ResultCode:返回码

package com.example.demo.utils.inter;

public interface ResultCode {
    Integer SUCCESS = 2000;

    Integer ERROR = 3000;
}

TableNameUtil:根据自己定义的规则获取表名

这里可以通过字符串拼接,实现user_0~user_9的返回。
数据存储规则: id最后一个数字为0即对应user_0,同理9对应user_9。

package com.example.demo.utils;

import org.springframework.stereotype.Component;

@Component
public class TableNameUtil {

    public String getUserTableName(String id){
        return "user_"+id.substring(id.length()-1);
    }
}

IdUtil:根据自己定义的规则生成唯一ID

这里的生成规则是通过UUID+随机0~ 9的数字来实现唯一ID的生成。大型项目一般会有一个专门由于生成唯一序列号的服务器~。

package com.example.demo.utils;
import org.springframework.stereotype.Component;
import java.util.UUID;

@Component
public class IdUtil {

    public synchronized String generatorUserId(){
        return UUID.randomUUID()+String.valueOf(Math.random()*10);
    }
}

实体类

po类(Persistent Object )

package com.example.demo.po;

import com.baomidou.mybatisplus.annotation.TableId;
import com.baomidou.mybatisplus.annotation.TableName;
import lombok.Data;

import java.io.Serializable;

@Data
@TableName("user_0")//mybatis-plus匹配一张表即可,因为所有表的结构完全一致。
public class User implements Serializable {
    @TableId
    private String id;

    private String name;
}

dto类(Data Transfer Object)

注: 用例比较简单,没有几个参数,实际时新增和查询可能都会封装许多参数。
UserIn: 新增User时用于传递数据,id由后台生成,前端传输数据时就不必存在id字段。

package com.example.demo.po.dto;

import lombok.Data;

@Data
public class UserIn {
    private String name;
}

QueryUserId:查询时使用

package com.example.demo.po.dto;

import lombok.Data;

@Data
public class QueryUserId {
    private String id;
}

Mapper层

UserMapper

package com.example.demo.mapper;

import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.example.demo.po.User;
import org.apache.ibatis.annotations.Mapper;
import org.apache.ibatis.annotations.Param;

@Mapper
public interface UserMapper extends BaseMapper<User> {
//这里只是简单定义了两个接口,本打算写个批量插入的,
//但是这必须要求批量插入时的所有表的id最后一位数字是相同的(即是同一张表),
//这里不符合,因为这里是在插入时随机生成的,就和循环单独插入一样了~
    void insertUser(@Param("tableName") String tableName, @Param("user") User user);

    User selectUserById(@Param("tableName") String tableName, @Param("id") String id);
}

UserMapper.xml

与UserMapper相绑定,通过@Param指定传参后xml中进行调用时的名称。
动态表名的实现也是通过传参实现的,这里直接传递参数"tableName"让xml进行获取。
注: 这里使用${tableName}而不使用#{tableNaem}是因为在使用#进行预加载时,由于此时未能获取tableName,即无法确定具体的表格,预加载会报错。
不错的博客,详细介绍

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
        PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">

<mapper namespace="com.example.demo.mapper.UserMapper">
    <insert id="insertUser" parameterType="com.example.demo.po.User">
        insert into ${tableName}(id, name) values (#{user.id}, #{user.name});
    </insert>
    <select id="selectUserById" parameterType="java.lang.String" resultType="com.example.demo.po.User">
        select * from ${tableName} where id = '${id}'
    </select>
</mapper>

Service层

package com.example.demo.service;

import com.baomidou.mybatisplus.extension.service.IService;
import com.example.demo.po.User;

public interface UserService extends IService<User> {

    void insertUser(User user);

    User selectUserById(String id);
}

impl实现类

package com.example.demo.service.impl;

import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import com.example.demo.mapper.UserMapper;
import com.example.demo.po.User;
import com.example.demo.service.UserService;
import com.example.demo.utils.IdUtil;
import com.example.demo.utils.TableNameUtil;
import org.springframework.stereotype.Service;

import javax.annotation.Resource;

@Service
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements UserService {

    @Resource
    private IdUtil idUtil;

    @Resource
    private TableNameUtil tableNameUtil;

    @Override
    public void insertUser(User user) {
        String id = idUtil.generatorUserId();//生成Id
        user.setId(id);
        String tableName = tableNameUtil.getUserTableName(id);//根据id获取表名
        baseMapper.insertUser(tableName,user);
    }

    @Override
    public User selectUserById(String id) {
        String tableName = tableNameUtil.getUserTableName(id);
        return baseMapper.selectUserById(tableName, id);
    }
}

Controller层

package com.example.demo.controller;

import com.example.demo.po.User;
import com.example.demo.po.dto.UserIn;
import com.example.demo.service.UserService;
import com.example.demo.utils.R;
import lombok.extern.slf4j.Slf4j;
import org.springframework.web.bind.annotation.*;

import javax.annotation.Resource;

@Slf4j
@RestController
@RequestMapping("/user")
public class UserController {

    @Resource
    private UserService userService;

    @PostMapping("/insertUser")
    public R insertUser(@RequestBody UserIn userIn){
        User user = new User();
        user.setName(userIn.getName());
        userService.insertUser(user);
        return R.ok();
    }

    @GetMapping("/selectUserById")
    public R selectUserById(@RequestBody String id){
        User user = userService.selectUserById(id);
        return R.ok().data(user);
    }
}

过程及结果截图展示

通过Apifox调用接口

创建用户User

使用自动生成数据,结果返回成功

…多输入些数据…查看数据库中数据

… id查询用户

测试成功

三、扩展

还可以在xml中通过调用Java方法来实现生成表名的操作,这里就不需要mapper传递tableName参数了,但是需要用于获取tableName的参数。在学习中遇到这种方式,做个记录。
这种方式比较特殊,一般很少使用。

UserMapper新增

    void insertUserI(@Param("user") User user);

    User selectUserByIdI(@Param("id") String id);

UserMapper.xml新增

    <insert id="insertUserI" parameterType="com.example.demo.po.User">
        insert into "${@com.example.demo.utils.TableNameUtil@getUserTableName(id)}"(id, name) values (#{user.id}, #{user.name});
    </insert>
    <select id="selectUserByIdI" parameterType="java.lang.String" resultType="com.example.demo.po.User">
        select * from "${@com.example.demo.utils.TableNameUtil@getUserTableName(id)}" where id = '${id}'
    </select>
    或通过bind标签进行绑定
    <insert id="insertUserI" parameterType="com.example.demo.po.User">
        <bind name="tableName" value="@com.example.demo.utils.TableNameUtil@getUserTableName(id)"/>
        insert into ${tableName}(id, name) values (#{user.id}, #{user.name});
    </insert>
    <select id="selectUserByIdI" parameterType="java.lang.String" resultType="com.example.demo.po.User">
        <bind name="tableName" value="@com.example.demo.utils.TableNameUtil@getUserTableName(id)"/>
        select * from ${tableName} where id = '${id}'
    </select>

Service层新增

    void insertUserI(@Param("user") User user);

    User selectUserByIdI(@Param("id") String id);

Controller层新增

    @PostMapping("/insertUserI")
    public R insertUserI(@RequestBody UserIn userIn){
        User user = new User();
        user.setName(userIn.getName());
        userService.insertUser(user);
        log.info("insertUserI OK");
        return R.ok();
    }

    @GetMapping("/selectUserByIdI")
    public R selectUserByIdI(@RequestBody QueryUserId queryUserId){
        User user = userService.selectUserById(queryUserId.getId());
        log.info("selectUserByIdI :"+user.toString());
        return R.ok().data(user);
    }

过程及结果截图展示

调用insertUserI创建新用户

日志打印

数据库中数据

调用selectUserByIdI进行查询

日志查看

关于xml调用Java方法时是否能获取对应参数

这里在getUserTableName方法下输出了一下id

到此这篇关于mybatis水平分表实现动态表名的项目实例的文章就介绍到这了,更多相关mybatis 动态表名内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • Mybatis 动态表名+Map参数传递+批量操作详解

    需求: 之前项目一个变动,需要对3张mysql数据库表数据进行清洗,3张表表名不同,表结构完全相同,需要对这3张表进行相同的增.改.查动作,一开始比较紧急先对一张表进行操作,后来复制了3个一样的 service.dao.mapper等.后来对代码进行优化,研究了一下动态表名的处理. 1,查询操作: 查询操作只需要传入动态表名的时候,传递参数仍然是map mapper.xml内,需要使用statementType="STATEMENT",采用非预编译模式 mapper.xml内,动态表名

  • mybatis-plus动态表名的实现示例

    背景 在分表的背景下,有时候查询数据的时候需要跨表查询,那此时就需要MP在解析的时候,能够很好的自适应表格名称 实现 MP中是通过PaginationInterceptor(分页插件)完成动态表名解析的,配置如下: 数据库中表 依赖 <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version&

  • mybatis plus 的动态表名的配置详解

    mybatis plus简介 详见mybatis plus的官网 业务要求 业务上要求存储数据的时候根据某个字段动态的选择数据要存储的表. 如根据code字段: code->[1001,1002]来进行选择存储的表: 经过下面的配置实现动态表名如 --> table1_1001,table_1002的效果.以此动态生成表名的效果. 具体实现 MPConfig.java import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.J

  • MyBatis-Plus 动态表名SQL解析器的实现

    一.引言 先来说下动态名表在什么场景下需要使用呢? 拿小编的实际项目来说,小编公司手里掌握着国内各个部分地区的医院患者数据,那么一个医院的患者的数据流量肯定是很大的,这个时候如果全部放在同一张表中,那么可想而知数据量的庞大.所以数据库设计的时候可以一家医院对应一张表,分开来存储,表中的列名都是一样的,只是表名不同. 或者还可以做日志的存储,日志数据量也是很大的,可以分一个月对应一张表,比如:log_201907.log_201908等等之类的. 二.具体实现 动态表名SQL解析器也是基于MP分页

  • mybatis-plus动态表名实现方法

    目录 1.使用场景 2.一定要时常注意工具的更新,不吃亏 3.对mybatis-plus进行升级 4.将原来的mybatis的插件配置调整成新版本的,并添加上动态表名的模块 5.运行一下 6. 需要注意的地方 1.使用场景 一个mybatis entity 对应多张表(表明不同的表–> 多张表结构一致只有表名称不同),在使用时,可以动态映射表名称.比如:按照时间分表,某些业务冷热数据分离后数据存在不同的表中等 2.一定要时常注意工具的更新,不吃亏 因为工作需要,最近需要实现一个类似如下业务等功能

  • mybatis水平分表实现动态表名的项目实例

    目录 一.水平分表 二.项目实现 目录结构 三.扩展 一.水平分表 当业务需求的数据量过大时,一个表格存储数据会非常之多,故时长采用水平分表的方式来减少每张表的数据量即是提升查询数据库时的效率. 水平分表时,各表的结构完全一样,表名不同. 例如:这里我们建了10张user表,每张表的结构完全一致,表名由0~9. 表中包含有id和name属性且都采用varchar的存储类型. 为什么id没有采用int自增的形式? 大型项目极有可能采用分布式数据库,若采用自增的方式,会导致id重复.且id也不一定只

  • mybatis通过中间表实现一对多查询功能

    需求: 通过一个学生的id查询出该学生所学的所有科目. 使用到的表格: 1.student:学生表 2.subject:科目表 3.stu_sub:学生-科目表(这里的成绩字段没用到,不用管) 实体类( get.set方法省略): 1.student public class Student implements Serializable { private int id; private String stuNum; //学号 private String password; private

  • MyBatis-Plus动态表名的使用

    目录 MyBatis-Plus版本 MyBatis-Plus配置 请求参数传递辅助类 使用 MyBatis-Plus实现动态表名 MyBatis实现方法如下现在要用MyBatis-Plus 实现 <select id="getList" resultType="com.wys.entity.User"> SELECT * FROM ${tableName} </select> MyBatis-Plus官网说明 MyBatis-Plus版本 1

  • YII动态模型(动态表名)支持分析

    本文分析了YII动态模型(动态表名)支持机制.分享给大家供大家参考,具体如下: 给YII 框架增加动态模型支持 Yii框架中的数据模型使用静态机制,如果要使用模型方式操作某张数据表,就必须得事先创建数据表对应的模型类(位于 protected/models 目录下),这种方式,在有的情况下给我们的工作带来了一些不便,如仅仅将数据表进行显示,或者数据表是动态生成的,或者要实现数据表模型中的读写分离,(如数据写入与数据呈现逻辑可能定义到不同的模型中,以提高性能,如前后台的分离). 为解决这个问题,经

  • springboot+mybatis拦截器方法实现水平分表操作

    目录 1.前言 2.MyBatis 允许使用插件来拦截的方法 3.Interceptor接口 4分表实现 4.1.大体思路 4.2.1 Mybatis如何找到我们新增的拦截服务 4.2.2 应该拦截什么样的对象 4.2.3 实现自定义拦截器 4.2.逐步实现 1.前言 业务飞速发展导致了数据规模的急速膨胀,单机数据库已经无法适应互联网业务的发展.由于MySQL采用 B+树索引,数据量超过阈值时,索引深度的增加也将使得磁盘访问的 IO 次数增加,进而导致查询性能的下降:高并发访问请求也使得集中式数

随机推荐