基于mybatis batch实现批量提交大量数据

很多人在用 MyBatis 或者 通用 Mapper 时，经常会问有没有批量插入和批量更新的方法。

实际上许多时候没必要用 <foreach> 去实现特别复杂的批量操作。直接通过 MyBatis 的 BATCH 方式执行增删改方法即可。

下面是一个批量用法的例子：

在xml文件配置多条参数同时插入：

<insert id="insertBatch2" parameterType="ctas.entity.SharkFlt">
   <selectKey keyProperty="recId" order="BEFORE" resultType="Long">
   select SEQ_CTAS_SHARK_FLT.nextval as recId from dual
  </selectKey>
   insert into CTAS_SHARK_FLT (<include refid="Base_Column_List"/>) SELECT SEQ_TEST.NEXTVAL, A.*
   FROM (
   <foreach collection="list" item="item" index="index" open="" close="" separator="union all">
    select #{item.awbType,jdbcType=VARCHAR}, #{item.awbPre,jdbcType=VARCHAR},... from dual
 </foreach>
  ) A
 </insert>

在Java代码中，oracle中一次执行的sql语句长度是有限制的，如果最后拼出来的sql字符串过长，会导致执行失败，所以java端还要做一个分段处理，参考下面的处理:

List<SharkFlt> data = new ArrayList<SharkFlt>();
     for (TSharkFlt f : sharkFlts) {
       data.add(getSharkFlt(f));
     }

    System.out.println(data.size());
     long beginTime = System.currentTimeMillis();
    System.out.println("开始插入...");
     SqlSessionFactory sqlSessionFactory
=ctx.getBean(SqlSessionFactory.class);
     SqlSession session = null;
    try {
       session = sqlSessionFactory.openSession(ExecutorType.BATCH, false);
       int a = 2000;//每次提交2000条
       int loop = (int) Math.ceil(data.size() / (double) a);

       List<SharkFlt> tempList = new ArrayList<SharkFlt>(a);
      int start, stop;
      for (int i = 0; i < loop; i++) {
        tempList.clear();
        start = i * a;
        stop = Math.min(i * a + a - 1, data.size() - 1);
        System.out.println("range:" + start + " - " + stop);
        for (int j = start; j <= stop; j++) {
           tempList.add(data.get(j));
        }
         session.insert("ctas.importer.writer.mybatis.mappper.SharkFltMapper.insertBatch2", tempList);
        session.commit();
        session.clearCache();
         System.out.println("已经插入" + (stop + 1) + " 条");
       }
     } catch (Exception e) {
       e.printStackTrace();
       session.rollback();
    } finally {
      if (session != null) {
        session.close();
      }
     }
    long endTime = System.currentTimeMillis();
    System.out.println("插入完成，耗时 " + (endTime - beginTime) + " 毫秒！");

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • Mybatis批量插入数据返回主键的实现

    响应效果(id为主键): { "data": [ {"studentName": "张三","classNo": "一班","id": 111}, {"studentName": "李四","classNo": "二班","id": 112}, {"studentName&quo

  • Java如何利用Mybatis进行数据权限控制详解

    前言 权限控制主要分为两块,认证(Authentication)与授权(Authorization).认证之后确认了身份正确,业务系统就会进行授权,现在业界比较流行的模型就是RBAC(Role-Based Access Control).RBAC包含为下面四个要素:用户.角色.权限.资源.用户是源头,资源是目标,用户绑定至角色,资源与权限关联,最终将角色与权限关联,就形成了比较完整灵活的权限控制模型. 资源是最终需要控制的标的物,但是我们在一个业务系统中要将哪些元素作为待控制的资源呢?我将系统中

  • Mybatis如何自动生成数据库表结构总结

    一般情况下,用Mybatis的时候是先设计表结构再进行实体类以及映射文件编写的,特别是用代码生成器的时候. 但有时候不想用代码生成器,也不想定义表结构,那怎么办? 这个时候就会想到Hibernate,然后想到它的hibernate.hbm2ddl.auto配置项. 所以手工创表的问题可以很方便的迅速用Hibernate来解决. 那有人问啦:就是不想用Hibernate才换的Mybatis,你这又兜回去了吗? 其实不是的,我们需要的就是单单一个hbm2ddl功能. 其实应该这么想:有一款工具能够自

  • mybatis执行批量更新batch update 的方法（oracle,mysql两种）

    Oracle和MySQL数据库的批量update在mybatis中配置不太一样: oracle数据库: <code class="hljs tcl" style=""><<span class="hljs-keyword" style="">update</span> id=<span class="hljs-string" style=""

  • MyBatis通过BATCH批量提交的方法

    很多人在用 MyBatis 或者 通用 Mapper 时,经常会问有没有批量插入和批量更新的方法. 实际上许多时候没必要用<foreach> 去实现特别复杂的批量操作.直接通过 MyBatis 的 BATCH 方式执行增删改方法即可. 下面是一个批量用法的例子: @Autowired private SqlSessionFactory sqlSessionFactory; @Transactional(rollbackFor = Exception.class) @Override publi

  • SpringBoot整合MyBatisPlus配置动态数据源的方法

    MybatisPlus特性 •无侵入:只做增强不做改变,引入它不会对现有工程产生影响,如丝般顺滑 •损耗小:启动即会自动注入基本 CURD,性能基本无损耗,直接面向对象操作 •强大的 CRUD 操作:内置通用 Mapper.通用 Service,仅仅通过少量配置即可实现单表大部分 CRUD 操作,更有强大的条件构造器,满足各类使用需求 •支持 Lambda 形式调用:通过 Lambda 表达式,方便的编写各类查询条件,无需再担心字段写错 •支持多种数据库:支持 MySQL.MariaDB.Ora

  • SpringMVC Mybatis配置多个数据源并切换代码详解

    这篇文章主要介绍了SpringMVC Mybatis配置多个数据源并切换代码详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 最近公司一个项目需要连接两个数据库(A和B)操作,有的模块查询A库,有的模块查询B库,因此需要改造下,项目后台用的是SpringMVC+Mybatis+MySQL架构,折腾了两天后终于搞定了,在这里记录过改造过程. 使用场景 多数据源的使用的场景一般有: 主从数据库切换 读写分离 兼容旧库 实现原理 Spring2.x

  • Mybatis中使用updateBatch进行批量更新

    背景描述:通常如果需要一次更新多条数据有两个方式,(1)在业务代码中循环遍历逐条更新.(2)一次性更新所有数据(更准确的说是一条sql语句来更新所有数据,逐条更新的操作放到数据库端,在业务代码端展现的就是一次性更新所有数据).两种方式各有利弊,下面将会对两种方式的利弊做简要分析,主要介绍第二种方式在mybatis中的实现. 逐条更新 这种方式显然是最简单,也最不容易出错的,即便出错也只是影响到当条出错的数据,而且可以对每条数据都比较可控,更新失败或成功,从什么内容更新到什么内容,都可以在逻辑代码

  • 基于mybatis batch实现批量提交大量数据

    很多人在用 MyBatis 或者 通用 Mapper 时,经常会问有没有批量插入和批量更新的方法. 实际上许多时候没必要用 <foreach> 去实现特别复杂的批量操作.直接通过 MyBatis 的 BATCH 方式执行增删改方法即可. 下面是一个批量用法的例子: 在xml文件配置多条参数同时插入: <insert id="insertBatch2" parameterType="ctas.entity.SharkFlt"> <sele

  • springmvc后台基于@ModelAttribute获取表单提交的数据

    springmvc后台基于@ModelAttribute获取表单提交的数据

    1.通过注解ModelAttribute直接映射表单中的参数到POJO.在from中的action写提交的路径,在input的name写参数的名称. POJO package com.demo.model; public class user { private String username; private String password; private int nsex; public String getUsername() { return username; } public vo

  • 基于Spring Batch向Elasticsearch批量导入数据示例

    1.介绍 当系统有大量数据需要从数据库导入Elasticsearch时,使用Spring Batch可以提高导入的效率.Spring Batch使用ItemReader分页读取数据,ItemWriter批量写数据.由于Spring Batch没有提供Elastisearch的ItemWriter和ItemReader,本示例中自定义一个ElasticsearchItemWriter(ElasticsearchItemReader),用于批量导入. 2.示例 2.1 pom.xml 本文使用spr

  • MyBatis批量插入大量数据(1w以上)

    问题背景:只用MyBatis中foreach进行批量插入数据,一次性插入超过一千条的时候MyBatis开始报错.项目使用技术:SpringBoot.MyBatis 批量插入碰到的问题: java.lang.StackOverflowError: null 该问题是由于一次性插入数据1w条引起的,具体插入代码如下: userDao.batchInsert(list); <insert id="batchInsert" parameterType="java.util.Li

  • Mybatis批量提交实现步骤详解

    简介:mybatis的批量操作减少数据库连接次数 一.mapper 使用foreach 遍历 批量insert: <insert id="addEmpsBatch"> INSERT INTO emp(ename,gender,email,did) VALUES <foreach collection="emps" item="emp" separator=","> (#{emp.eName},#{emp

  • 基于Java 利用Mybatis实现oracle批量插入及分页查询

    目录 1.单条数据insert 2.批量数据批量insert 3.创建序列 4.oracle分页查询 前端与后端交互,分页查询 后端海量数据导出,批量查询 1.单条数据insert <!--简单SQL--> insert into userinfo (USERID, USERNAME, AGE) values(1001,'小明',20); <!--Mybatis写法1,有序列,主键是自增ID,主键是序列--> <insert id="insert" par

  • jQuery基于ajax()使用serialize()提交form数据的方法

    本文实例讲述了jQuery基于ajax()使用serialize()提交form数据的方法.分享给大家供大家参考,具体如下: jQuery的serialize()方法通过序列化表单值,创建URL编码文本字符串,我们就可以选择一个或多个表单元素,也可以直接选择form将其序列化,如: <form action=""> First name: <input type="text" name="FirstName" value=&qu

  • mybatis单笔批量保存实体数据的方法

    这一篇主要介绍,如何保存实体数据.具体内容如下所示: 一,xml样例 <?xml version="1.0" encoding="GBK"?> <!-- 1..1 --> <cisReports batNo="查询批次号" unitName="查询单位名称" subOrgan="分支机构名称" queryUserID="查询操作员登录名" queryCoun

  • jQuery 实现批量提交表格多行数据的方法

    批量提交用jquery操作起来还是很方便的,主要的思路就是 在动态生成表格时每一行都存下这条数据的唯一id,然后监听选择,把选中的数据放入数组,最后提交到后台就OK了. 先上一部分代码(这是表头以及一个全选按钮) <table class="ui_table ui_table_hover ui_table_striped ui_table_style02 table_fixed"> <tr> <th width="3%" class=&

随机推荐