Java使用POI导出大数据量Excel的方法

2024-11-27 06:44:51

今天需要写一个导出的Excel的功能，但是发现当数据量到3万条时，列数在23列时，内存溢出，CPU使用100%,测试环境直接炸掉。在本地测试时发现，导出3000条左右的数据的时候，堆内存瞬间升高500M左右。然后发现了 SXSSFWorkbook 这个类。

简介

SXSSFWorkbook 需要 poi-ooxml 包 3.8 及以上开始支持，我这边适使用的是 3.9 版本，本质是一个 XSSFWorkbook 类( Excel2007 )，它使用的方式是采用硬盘空间来大幅降低堆内存的占用，在系统的临时文件夹目录创建一个临时文件，然后将所有大于约定行数的数据都存入临时文件，而不是全部放在内存中，内存中只存放最新的的约定条数的数据，从而实现以硬盘空间换取内存空间，避免内存溢出

使用方式

与正常的Excel导出方法没有区别，只是将实例化的类换为 SXSSFWorkbook

SXSSFWorkbook workbook = null;
  OutputStream outputStream = null;
  try {
  outputStream = response.getOutputStream();
  //创建工作簿
  workbook = new SXSSFWorkbook();
  // 打开压缩功能 防止占用过多磁盘
  workbook.setCompressTempFiles(true);
  // 创建一个工作表
  Sheet sheet = workbook.createSheet("表名");
  // 创建一行
  Row titleRow = sheet.createRow(0);
  // 创建一个单元格
  Cell cell = titleRow.createCell(0);
  // 给单元格赋值
  cell.setCellValue("内容");
  // 将工作簿写入输出流
  workbook.write(outputStream);
  } catch (Exception e) {
  e.printStackTrace();
  }finally {
  if (workbook != null) {
   //使用完毕后将产生的临时文件删除 防止将磁盘搞满
   workbook.dispose();
  }
  if (outputStream != null) {
   outputStream.close();

  }
  }

总结

以上所述是小编给大家介绍的Java使用POI导出大数据量Excel的方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我们网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！

详解Java编写并运行spark应用程序的方法

我们首先提出这样一个简单的需求: 现在要分析某网站的访问日志信息,统计来自不同IP的用户访问的次数,从而通过Geo信息来获得来访用户所在国家地区分布状况.这里我拿我网站的日志记录行示例,如下所示: 121.205.198.92 - - [21/Feb/2014:00:00:07 +0800] "GET /archives/417.html HTTP/1.1" 200 11465 "http://shiyanjun.cn/archives/417.html/" &qu
java 文件大数据Excel下载实例代码

java 文件大数据Excel下载实例代码 excel可以用xml表示.故可以以此来实现边写边下载文件 package com.tydic.qop.controller; import java.io.BufferedInputStream; import java.io.BufferedOutputStream; import java.io.ByteArrayInputStream; import java.io.ByteArrayOutputStream; import java.io.I
从0开始学习大数据之java spark编程入门与项目实践

本文实例讲述了大数据java spark编程.分享给大家供大家参考,具体如下: 上节搭建好了eclipse spark编程环境在测试运行scala 或java 编写spark程序 ,在eclipse平台都可以运行,但打包导出jar,提交 spark-submit运行,都不能执行,最后确定是版本问题,就是你在eclipse调试的spark版本需和spark-submit 提交spark的运行版本一致,还有就是scala版本一致,才能正常运行. 以下是java spark程序运行 1.新建mave
为什么入门大数据选择Python而不是Java?

马云说:"未来最大的资源就是数据,不参与大数据十年后一定会后悔."毕竟出自wuli马大大之口,今年二月份我开始了学习大数据的道路,直到现在对大数据的学习脉络和方法也渐渐清晰.今天我们就来谈谈学习大数据入门语言的选择.当然并不只是我个人之见,此外我搜集了各路大神的见解综合起来跟大家做个讨论. java和python的区别到底在哪里? 官方解释:Java是一门面向对象编程语言,不仅吸收了C++语言的各种优点,还摒弃了C++里难以理解的多继承.指针等概念,因此Java语言具有功能强大和简单易
java 中Spark中将对象序列化存储到hdfs

java 中Spark中将对象序列化存储到hdfs 摘要: Spark应用中经常会遇到这样一个需求: 需要将JAVA对象序列化并存储到HDFS, 尤其是利用MLlib计算出来的一些模型, 存储到hdfs以便模型可以反复利用. 下面的例子演示了Spark环境下从Hbase读取数据, 生成一个word2vec模型, 存储到hdfs. 废话不多说, 直接贴代码了. spark1.4 + hbase0.98 import org.apache.spark.storage.StorageLevel imp
javaweb学习总结——使用JDBC处理MySQL大数据

BLOB (binary large object),二进制大对象,是一个可以存储二进制文件的容器.在计算机中,BLOB常常是数据库中用来存储二进制文件的字段类型,BLOB是一个大文件,典型的BLOB是一张图片或一个声音文件,由于它们的尺寸,必须使用特殊的方式来处理(例如:上传.下载或者存放到一个数据库). 一.基本概念在实际开发中,有时是需要用程序把大文本或二进制数据直接保存到数据库中进行储存的. 对MySQL而言只有blob,而没有clob,mysql存储大文本采用的是Text,Text和
java-spark中各种常用算子的写法示例

Spark的算子的分类从大方向来说,Spark 算子大致可以分为以下两类: 1)Transformation 变换/转换算子:这种变换并不触发提交作业,完成作业中间过程处理. Transformation 操作是延迟计算的,也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行,需要等到有 Action 操作的时候才会真正触发运算. 2)Action 行动算子:这类算子会触发 SparkContext 提交 Job 作业. Action 算子会触发 Spark 提交作业(Job)
Java实现Dbhelper支持大数据增删改

在做项目的时候,技术选型很重要,在底层的方法直接影响了我们对大数据访问以及修改的速度,在Java中有很多优秀的ORM框架,比如说:JPA,Hibernate 等等,正如我们所说的,框架有框架的好处,当然也存在一些可以改进的地方,这个时候,就需要我们针对于不同的业务不同的需求,不同的访问量,对底层的架构重新封装,来支持大数据增删改. 代码: import java.io.*; import java.sql.*; import java.util.*; import java.util.loggi
Java和scala实现 Spark RDD转换成DataFrame的两种方法小结

一:准备数据源在项目下新建一个student.txt文件,里面的内容为: 1,zhangsan,20 2,lisi,21 3,wanger,19 4,fangliu,18 二:实现 Java版: 1.首先新建一个student的Bean对象,实现序列化和toString()方法,具体代码如下: package com.cxd.sql; import java.io.Serializable; @SuppressWarnings("serial") public class Stude
Java开发者必备10大数据工具和框架

当今IT开发人员面对的最大挑战就是复杂性,硬件越来越复杂,OS越来越复杂,编程语言和API越来越复杂,我们构建的应用也越来越复杂.根据外媒的一项调查报告,中软卓越专家列出了Java程序员在过去12个月内一直使用的一些工具或框架,或许会对你有意义. 先来看看大数据的概念.根据维基百科,大数据是庞大或复杂的数据集的广义术语,因此传统的数据处理程序不足以支持如此庞大的体量. 在许多情况下,使用SQL数据库存储/检索数据都是很好的选择.而现如今的很多情况下,它都不再能满足我们的目的,这一切都取决于用例的

Java使用POI导出大数据量Excel的方法

相关推荐

随机推荐