PHP导出数据超时的优化建议

一般情况下，导出超时可能都是以下三种情况：
　　一、sql语句复杂，查询时间过长；
　　二、处理查询后数据逻辑冗余；
　　三、数据量过大导致响应超时。
接下来分别给出这三种情况的优化建议。

一、sql语句复杂，查询时间过长

　　1、查看索引是否设置妥当，即所用的查询条件是否有添加索引，当然索引不是越多越好，只需给常用的查询条件加上即可，一般采用B+树的索引方式（具体原因可自行百度，不再赘述）
　　2、在查询语句中尽量避免IN、NOT IN、IS NULL、OR、!=、<>、LIKE、OR、NOT EXISTS这些查询条件的出现，会导致索引失效。
- IN查询时，可以考虑用BETWEEN来代替
- LIKE查询时，仅当"%"在前时会索引失效，"%"在后是不会失效的
- 查询条件里还要避免数字的出现，使用字符串，数字也会导致索引失效，例如,查询:"pid"=1,可以优化为"pid"="1"
- 要尽量避免在循环中使用查询语句，这种情况一般可以用join或者with来解决（当涉及到跨库时，请谨慎使用这种方式！）
- 查询时，可以指定需要查询的字段，排除掉不需要的字段避免资源浪费
- 当数据量多大时，可以使用分页和缓存来优化（具体方法请参考数据量过大导致响应超时部分）
温馨提示：在执行查询语句后，可以通过show profiles来查询语句的资源消耗情况来帮助你更好的优化sql语句；关于查询语句是否使用了索引，可以在查询语句前加explain来查看索引使用情况，例如：
explain select * from user where id= '1';

二、处理查询后数据逻辑冗余

- 在做数组循环时，尽量使用continue、break来减少没必要的循环；

- 尽量减少if嵌套层数，在需要用到多个if-else时，使用switch可以提高效率，特别是在数据量大时
- 当进行数组赋值时，
  一次赋一个值，使用$arr[]=1,会比array_push($arr,"1")，更快，
  但是当需要多次赋值时，
    array_push($arr,"1","2","3",...),会比
    $arr[]="1";
    $arr[]="2"
    $arr[]="3"
    ...
  更快

- 遍历数组进行赋值时，尽量使用引用的方式，减少内存开销，例如：

    foreach($arr as &$item){
      $item = 1;
      ...
    }

三、数据量过大导致响应超时

当数量两过大，又不想用异步的方式导出excel文件时，可以尝试使用csv来作为到处格式，且查询导出数据时可以使用分页的方式查询，导出时利用ob_flush进行缓存。例如：

$page = 1;    // 页面
$pageSize = 1000;    //每页条数
while(
  $list = Db::name("user")->page($page)->limit($pageSize)->select()
)
{
  foreach($list as &$item){
    // TODO 进行相应的逻辑处理
  }
  $page++;
}

当数据访问次数过多时，建议使用redis缓存一些固定数据，减少mysql查询次数。
当然，最好的方式还是使用异步的方式导出，建议使用python或者go语言搭建微服务来进行导出。

到此这篇关于PHP导出数据超时的优化的文章就介绍到这了,更多相关PHP导出数据超时内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • jquery+php实现导出datatables插件数据到excel的方法

    本文实例讲述了jquery+php实现导出datatables插件数据到excel的方法.分享给大家供大家参考.具体如下: DataTables是一个jQuery的表格插件.这是一个高度灵活的工具,依据的基础逐步增强,这将增加先进的互动控制,支持任何HTML表格.主要特点: 1. 自动分页处理 2. 即时表格数据过滤 3. 数据排序以及数据类型自动检测 4. 自动处理列宽度 5. 可通过CSS定制样式 6. 支持隐藏列 7. 易用 8. 可扩展性和灵活性 9. 国际化 10.动态创建表格 11.

  • 利用PHPExcel读取Excel的数据和导出数据到Excel

    利用PHPExcel读取Excel的数据和导出数据到Excel

    PHPExcel是一个PHP类库,用来帮助我们简单.高效实现从Excel读取Excel的数据和导出数据到Excel.也是我们日常开发中,经常会遇到的使用场景.比如有个客户信息表,要批量导出发给同事,我们就可以用PHPExcel来快速实现.同样,如果我们要利用短信群发接口去群发信息,PHPExcel可以快速导入客户信息,避免人工录入信息的麻烦. PHPExcel使用教程: 首先下载PHPExcel 到https://github.com/PHPOffice/PHPExcel下载PHPExcel,如

  • 完美解决php 导出excle的.csv格式的数据时乱码问题

    完美解决php 导出excle的.csv格式的数据时乱码问题

    1.header('Content-Encoding: XXXX'); 有可能是编码问题:可以尝试UTF-8,GBK,GB2312,等编码格式 2.有可能是文件编码问题,虽然UTF-8不建议带BOM,但是导出的excle是微软的产品,所以需要把文件格式改成,UTF-8有BOM格式的. 以上这篇完美解决php 导出excle的.csv格式的数据时乱码问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们.

  • PHP使用PHPexcel导入导出数据的方法

    本文实例讲述了PHP使用PHPexcel导入导出数据的方法.分享给大家供大家参考,具体如下: 导入数据: <?php error_reporting(E_ALL); //开启错误 set_time_limit(0); //脚本不超时 date_default_timezone_set('Europe/London'); //设置时间 /** Include path **/ set_include_path(get_include_path() . PATH_SEPARATOR . 'http:

  • 使用PHPExcel实现数据批量导出为excel表格的方法(必看)

    首先需要下载PHPExecel类文件,帮助文档可以参考PHPExcel中文帮助手册|PHPExcel使用方法. 下面直接上例子,是我自己写的一个简单的批量导出数据为excel的例子 前台页面 比较简单,就是一个超链接,跳转到处理页面,超链接也可以跟一些参数(看需求)! <a href="./Process1.php" rel="external nofollow" >导出excel表格</a> 后台Process.php页面 /** * 批量

  • 详解thinkphp实现excel数据的导入导出（附完整案例）

    实现步骤: 一:在http://phpexcel.codeplex.com/下载最新PHPExcel放到Vendor下,注意位置:ThinkPHP\Extend\Vendor\PHPExcel\PHPExcel.php. 二:导出excel代码实现 /**方法**/ function index(){ $this->display(); } public function exportExcel($expTitle,$expCellName,$expTableData){ $xlsTitle =

  • PHP导出数据超时的优化建议

    一般情况下,导出超时可能都是以下三种情况: 一.sql语句复杂,查询时间过长: 二.处理查询后数据逻辑冗余: 三.数据量过大导致响应超时. 接下来分别给出这三种情况的优化建议. 一.sql语句复杂,查询时间过长 1.查看索引是否设置妥当,即所用的查询条件是否有添加索引,当然索引不是越多越好,只需给常用的查询条件加上即可,一般采用B+树的索引方式(具体原因可自行百度,不再赘述) 2.在查询语句中尽量避免IN.NOT IN.IS NULL.OR.!=.<>.LIKE.OR.NOT EXISTS这些

  • win2003系统服务及优化建议

    win2003系统服务及优化建议 1.Application Layer Gateway Service ALG(应用层网关). 为Internet连接共享和Internet连接防火墙提供第三方协议插件的支持.该服务进程名为Alg.exe. 依存关系:Internet Connection Firewall(ICF)/Internet Connection Sharing(ICS) 建议:如果你不使用因特网联机共享(ICS)提供多台计算机的因特网存取和因特网联机防火墙(ICF)软件,停止. 2.

  • C#导出数据到excel如何提升性能

    一,要提升性能,我们先要知道耗时的地方在哪里 1,数据库查询, 2,把数据组合成新集合循环嵌套太多 二,那我们怎么优化呢? 一,数据库查询, 1>,数据库查询:如果数据量小,我们可以用临时datatable,连表查询,,可是如果是连表都是千万级上亿数据,就不建议用连表 那这个时候该怎么办呢? 2>这个时候我们可以选择先单表查询,然后再循环体查询自己所要的其他关联数据,这个时候我们需要注意的点是什么? 3>减少数据库查询!!!!!!!!!这个是重点,那怎么减少呢?正常逻辑如下代码,可是数据

  • MySQL百万级数据量分页查询方法及其优化建议

    数据库SQL优化是老生常谈的问题,在面对百万级数据量的分页查询,又有什么好的优化建议呢?下面将列举了一些常用的方法,供大家参考学习! 方法1: 直接使用数据库提供的SQL语句 语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N 适应场景: 适用于数据量较少的情况(元组百/千级) 原因/缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3). Limit限制的是从结果集的M位置处取出N条输出,其余

  • java 定时同步数据的任务优化

    前言 定时任务在系统中并不少见,主要目的是用于需要定时处理数据或者执行某个操作的情况下,如定时关闭订单,或者定时备份.而常见的定时任务分为2种,第一种:固定时间执行,如:每分钟执行一次,每天执行一次.第二种:延时多久执行,就是当发生一件事情后,根据这件时间发生的时间定时多久后执行任务,如:15分钟后关闭订单付款状态,24小时候后关闭订单并且释放库存,而由于第二种一般都是单一数据的处理(主要是指数据量不大,一般情况下只有一个主体处理对象,如:一个订单以及订单中的N个商品),所以一般情况下第二种出现

  • SpringBoot整合EasyExcel实现导入导出数据

    SpringBoot整合EasyExcel实现导入导出数据

    目录 前言 1.前端 2.数据库 3.后端 3.1 contrller 3.2 mapper 3.3 bean 3.4 listener 3.5 config 3.6 配置文件 4.启动测试 前言 创建一个普通的maven项目即可 项目目录结构 1.前端 存放在resources/static 下 index.html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF

  • 使用VUE+SpringBoot+EasyExcel 整合导入导出数据的教程详解

    使用VUE+SpringBoot+EasyExcel 整合导入导出数据的教程详解

    目录 1 前端 2 数据库 3 后端 3.1 contrller 3.2 mapper 3.3 bean 3.4 listener 3.5 config 3.6 配置文件 4 启动测试 创建一个普通的maven项目即可 项目目录结构 1 前端 存放在resources/static 下 index.html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo

  • Mysql导出数据的正确方法

    Mysql导出数据的正确方法

    之前折磨了很久,想在Mysql命令行下导出数据库,但就是每天提示不那个错误,后来才知道其实mysqldump不是mysql命令,因此不能在Mysql命令行下导出. 下面是错误的做法: . 下面才是正确的做法: 即:mysql导出数据库命令只能在系统命令行下使用,而不能在mysql命令行下使用.

  • SQLServer导出数据到MySQL实例介绍

    1从SQLServer导出数据 执行BCP: bcp "..." queryout "F:\test.txt" -c –S1.2.3.4 -Usa -P1111 命令参数含义: (1) 导入. 这个动作使用in命令完成,后面跟需要导入的文件名. (2) 导出. 这个动作使用out命令完成,后面跟需要导出的文件名. (3) 使用SQL语句导出. 这个动作使用queryout命令完成,它跟out类似,只是数据源不是表或视图名,而是SQL语句. (4) 导出格式文件. 这

随机推荐