PHP内存溢出的解决方法详解

目录
  • 1.处理数组时出现内存溢出
  • 2.使用sql查询数据,查出来很多,导致内存溢出
  • 3.假定日志中存放的记录数为500000条,那么解决方案如下
  • 4.上传excel文件时,出现内存溢出的情况

什么是内存溢出

内存溢出是指应用系统中存在无法回收的内存或使用的内存过多,最终使得程序运行要用到的内存大于虚拟机能提供的最大内存。

引起内存溢出的原因有很多种,常见的有以下几种:

1 内存中加载的数据量过于庞大,如一次从数据库取出过多数据;

2 集合类中有对对象的引用,使用完后未清空;

3 代码中存在死循环或循环产生过多重复的对象实体;

4 使用的第三方软件中的BUG;

5 启动参数内存值设定的过小;

下面来看些在开发中经常遇到的内存溢出的实例

内存溢出经常报错的情况

PHP Fatal error: Allowed memory size of 268 435 456 bytes exhausted

1.处理数组时出现内存溢出

1)使用迭代生成器,可以通过继承Iterator接口实现

2)使用关键词yield

function xrange($start, $end, $step = 1) {
    for ($i = $start; $i <= $end; $i += $step) {
        yield $i;
    }
}

foreach (xrange(1, 1000000) as $num) {
    echo $num, "\n";
}

2.使用sql查询数据,查出来很多,导致内存溢出

sql语句在mysql中可以查询,但是使用php程序查询就报php内存溢出

1)这个问题在php的官方网站叫缓冲查询和非缓冲查询。php的查询缺省模式是缓冲模式。也就是,查询数据结果一次全部提取到内存里供php程序额外的功能,比如说,计算行数,将指针指向某一行等。

更重要的是程序对数据集反复进行二次查询和过滤操作。但这种缓冲查询模式的缺陷是消耗内存,也就是用空间换速度。

2)另外一种查询模式是非缓冲查询,数据库服务器会一条一条的返回数据,而不是一次全部返回,这样的结果是php程序消耗较少的内存,但却增加了数据库服务器的压力,因为数据库会一直等待php来取数据,一直到数据全部取完。

1.首先查询数据库需要进行limit进行分页查询

2.如果不使用limit,使用非缓冲查询

1.mysql:

$conn = mysql_connect("localhost", "user", "pass");
$db   = mysql_select_db("world");
$uresult = mysql_unbuffered_query("SELECT Name FROM City");    //非缓冲查询
if ($uresult) {
   while ($row = mysql_fetch_assoc($uresult)) {
       echo $row['Name'] . PHP_EOL;
   }
}

2.pdo_mysql:

$pdo = new PDO("mysql:host=localhost;dbname=world", 'my_user', 'my_pass');
$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);    //设置这个属性,就为非缓冲查询
$uresult = $pdo->query("SELECT Name FROM City");
if ($uresult) {
   while ($row = $uresult->fetch(PDO::FETCH_ASSOC)) {
       echo $row['Name'] . PHP_EOL;
   }
}

3.mysqli:

$mysqli  = new mysqli("localhost", "user", "password", "world");
$uresult = $mysqli->query("SELECT Name FROM City", MYSQLI_USE_RESULT);
if ($uresult) {
   while ($row = $uresult->fetch_assoc()) {
       echo $row['Name'] . PHP_EOL;
   }
}
$uresult->close();

3.假定日志中存放的记录数为500000条,那么解决方案如下

ini_set(‘memory_limit’,’64M’); //重置php可以使用的内存大小为64M,一般在远程主机上是不能修改php.ini文件的,只能通过程序设置。

注:在safe_mode(安全模式)下,ini_set失效

set_time_limit(600);//设置超时限制为6分钟
$farr = $Uarr = $Marr = $IParr = $data = $_sub = array();
$spt = ”$@#!$”;
$root = ”/Data/webapps/VisitLog”;
$path = $dpath = $fpath = NULL;
$path = $root.”/”.date(“Y-m”,$timestamp);
$dpath = $path.”/”.date(“m-d”,$timestamp);

for($j=0;$j<24;$j++){
    $v = ($j < 10) ? ”0″.$j : $j;
    $gpath = $dpath.”/”.$v.”.php”;

    if(!file_exists($gpath)){
        continue;

    } else {
        $arr = file($gpath);////将文件读入数组中
        array_shift($arr);//移出第一个单元-》
        $farr = array_merge($farr,$arr);
        unset($arr);
    }
}

if(empty($this->farr)){
    echo ”没有相关记录!”;
    exit;
}

while(!empty($farr)){
    $_sub = array_splice($farr, 0, 10000); //每次取出$farr中1000个
    for($i=0,$scount=count($_sub);$i<$scount;$i++){
        $arr = explode($spt,$_sub[$i]);
        $Uarr[] = $arr[1]; //vurl
        $Marr[] = $arr[2]; //vmark
        $IParr[] = $arr[3].” |$nbsp;”.$arr[1]; //IP
    }
    unset($_sub);//用完及时销毁
}
unset($farr);

这里,不难看出,一方面,我们要增加PHP可用内存大小,另一方面,只要我们想办法对数组进行分批处理,分而治之,将用过的变量及时销毁(unset),一般是不会出现溢出问题的。

4.上传excel文件时,出现内存溢出的情况

在文件中分配大点的内存设置内存治标不治本,而且服务器的php.ini(memory_limit =128M)有时候是很难改的。所以在文件中设置。但是只有php.ini中的安全模式safe_mode开启时才可以设置

ini_set('memory_limit', '521M');

解决方法:

protected /extensions/ExcelHelper.php 中945行 
$PHPReader->setReadDataOnly(true);  //在拿到数据后进行设置只读

    public static function importFromExcel($filePath, $blankRowDel = false)
    {
        set_time_limit(90);
        Yii::import('application.extensions.phpexcel.PHPExcel');
        $PHPExcel = new PHPExcel();
        //默认用excel2007读取excel,若格式不对,则用之前的版本进行读取
        $PHPReader = new PHPExcel_Reader_Excel2007();
        if (!$PHPReader->canRead($filePath)) {
            $PHPReader = new PHPExcel_Reader_Excel5();
            if (!$PHPReader->canRead($filePath)) {
                throw new Exception('can not read the excel file');
            }
        }
        $PHPReader->setReadDataOnly(true);

        $PHPExcel      = $PHPReader->load($filePath);
        $allSheetCount = $PHPExcel->getSheetCount();
        $excelData     = array();
        for ($currentSheetNum = 0; $currentSheetNum < $allSheetCount; $currentSheetNum++) {
            //读取excel文件中的第一个工作表
            $currentSheet = $PHPExcel->getSheet($currentSheetNum);
            //取得当前表名
            $currentSheetTitle = $currentSheet->getTitle();
            //取得最大的列号
            $allColumn = $currentSheet->getHighestColumn();
            //取得一共有多少行
            $allRow = $currentSheet->getHighestRow();
            // 从第一行获取列名
            $currentRow = 1;
            // 从第A列开始输出
            $colunmNameArray = array();
            $max_column_num  = PHPExcel_Cell::columnIndexFromString($allColumn);
            for ($current_column_num = 0; $current_column_num <= $max_column_num; $current_column_num++) {
                $currentColumn = PHPExcel_Cell::stringFromColumnIndex($current_column_num);
                $val           = $currentSheet->getCellByColumnAndRow($current_column_num, $currentRow)->getValue();
                if (empty($val)) {
                    continue;
                }
                if (is_object($val)) {
                    $colunmNameArray[$currentColumn] = '';
                    foreach ($val->getRichTextElements() as $cell) {
                        $colunmNameArray[$currentColumn] .= $cell->getText();
                    }
                } else {
                    $colunmNameArray[$currentColumn] = $val;
                }
            }

            //从第二行开始输出,因为excel表中第一行为列名
            $sheetData = array();
            for ($currentRow = 2; $currentRow <= $allRow; $currentRow++) {
                //从第A列开始输出 */
                $rowData   = array();
                $blankCell = 0;
                for ($current_column_num = 0; $current_column_num <= $max_column_num; $current_column_num++) {
                    $currentColumn = PHPExcel_Cell::stringFromColumnIndex($current_column_num);
                    $val           = $currentSheet->getCellByColumnAndRow($current_column_num, $currentRow)->getValue();
                    if (!isset($colunmNameArray[$currentColumn])) {
                        continue;
                    }
                    //如果输出汉字有乱码,则需将输出内容用iconv函数进行编码转换,如下将gb2312编码转为utf-8编码输出
                    if (is_object($val)) {
                        $rowData[$currentColumn] = '';
                        foreach ($val->getRichTextElements() as $cell) {
                            $rowData[$currentColumn] .= $cell->getText();
                        }
                    } else {
                        $rowData[$currentColumn] = $val;
                    }

                    if (empty($rowData[$currentColumn])) {
                        $blankCell++;
                    }
                }

                if (!$blankRowDel || chr($blankCell + 64) != $allColumn) {
                    $sheetData[] = $rowData;
                }
            }

            $excelData[$currentSheetTitle] = array(
                'header'  => $colunmNameArray,
                'content' => $sheetData,
            );
        }
        return $excelData;
    }

到此这篇关于PHP内存溢出的解决方法详解的文章就介绍到这了,更多相关PHP内存溢出内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • PHP内存溢出优化代码详解

    相信很多人做大批量数据导出和数据导入的时候,经常会遇到PHP内存溢出的问题,在解决了问题之后,总结了一些经验,整理成文章记录下. 优化点 1.优化SQL语句,避免慢查询,合理的建立索引,查询指定的字段,sql优化这块在此就不展开了. 2.查询的结果集为大对象时转数组处理,框架中一般有方法可以转,如Laravel中有toArray(),Yii2中有asArray(). 3.对于大数组进行数据切割处理,PHP函数有array_chunk().array_slice(). 4.对于大型的字符串和对象,

  • PHP对象相互引用的内存溢出实例分析

    通常来说使用脚本语言最大的好处之一就是可利用其拥有的自动垃圾回收机制来释放内存.你不需要在使用完变量后做任何释放内存的处理,因为这些PHP会帮你完成. 当然,我们可以按自己的意愿调用 unset() 函数来释放内存,但通常不需要这么做. 不过在PHP里,至少有一种情况内存不会得到自动释放,即便是手动调用 unset().详情可考PHP官网关于内存泄露的分析:http://bugs.php.net/bug.php?id=33595. 问题症状如下: 如果两个对象之间存在着相互引用的关系,如"父对象

  • 关于PHP内存溢出问题的解决方法

    一.内存溢出解决方案在做数据统计分析时,经常会遇到大数组,可能会发生内存溢出,这里分享一下我的解决方案.还是用例子来说明这个问题,如下:假定日志中存放的记录数为500000条,那么解决方案如下: 复制代码 代码如下: ini_set('memory_limit','64M'); //重置php可以使用的内存大小为64M,一般在远程主机上是不能修改php.ini文件的,只能通过程序设置.注:在safe_mode(安全模式)下,ini_set失效set_time_limit(600);//设置超时限

  • phpExcel导出大量数据出现内存溢出错误的解决方法

    phpExcel将读取的单元格信息保存在内存中,我们可以通过 复制代码 代码如下: PHPExcel_Settings::setCacheStorageMethod() 来设置不同的缓存方式,已达到降低内存消耗的目的! 1.将单元格数据序列化后保存在内存中 复制代码 代码如下: PHPExcel_CachedObjectStorageFactory::cache_in_memory_serialized; 2.将单元格序列化后再进行Gzip压缩,然后保存在内存中 复制代码 代码如下: PHPEx

  • PHP内存溢出的解决方法详解

    目录 1.处理数组时出现内存溢出 2.使用sql查询数据,查出来很多,导致内存溢出 3.假定日志中存放的记录数为500000条,那么解决方案如下 4.上传excel文件时,出现内存溢出的情况 什么是内存溢出 内存溢出是指应用系统中存在无法回收的内存或使用的内存过多,最终使得程序运行要用到的内存大于虚拟机能提供的最大内存. 引起内存溢出的原因有很多种,常见的有以下几种: 1 内存中加载的数据量过于庞大,如一次从数据库取出过多数据: 2 集合类中有对对象的引用,使用完后未清空: 3 代码中存在死循环

  • 基于Java内存溢出的解决方法详解

    一.内存溢出类型1.java.lang.OutOfMemoryError: PermGen spaceJVM管理两种类型的内存,堆和非堆.堆是给开发人员用的上面说的就是,是在JVM启动时创建:非堆是留给JVM自己用的,用来存放类的信息的.它和堆不同,运行期内GC不会释放空间.如果web app用了大量的第三方jar或者应用有太多的class文件而恰好MaxPermSize设置较小,超出了也会导致这块内存的占用过多造成溢出,或者tomcat热部署时侯不会清理前面加载的环境,只会将context更改

  • FileZilla Server搭建FTP服务器配置及425错误与TLS警告解决方法详解

    我们为大家提供FileZilla下载链接: FileZilla 客户端:FileZilla_3.24.0_win64-setup.exe: FileZilla Server服务端绿色汉化版:FileZilla_Server-0_9_59.exe: 在服务器上安装并配置服务端: 安装过程这里不再赘述,一直下一步,在跳出弹窗时勾选"Always connect to this server",然后点击"Connect"即可(密码可自行设置或者为空): 默认安装完会有如下

  • jmeter在linux系统下运行及本地内存调优的方法详解

    1.在linux系统下安装跨系统传输文件工具 root用户下 根目录输入 yum -y install lrzsz 2.把apache-jmeter-4.0zip包 用rz命令上传到linux系统的根目录下 解压 3.配置jmeter环境变量 vim /etc/profile 添加 export PATH=/apache-jmeter-4.0/bin/:$PATH 注意路径 4.使用 rz命令上传jdk1.8 linux 64位版本 解压到 usr/local 目录下 下载jdk安装包 下载地址

  • python爬虫泛滥的解决方法详解

    我们可以把互联网上搬运数据的程序看成小蚂蚁,它们需要采集不同的食物带回洞里存储.但是大家也知道白蚁泛滥的事件,在我们的网络环境里,如果爬虫都集中在某几个位置,最直接的结果就是这个网站的拥挤.对于我们这些网站访问者而言也不是好事情,首先网页的页面会被卡住.网站的管理人员面对爬虫过多,这时候就要进行一系列的限制措施了,这里小编分了两个大的应对方向,从不同的角度进 行分析爬虫过多的解决思路. 一.识别爬虫 1. HTTP请求头 这算是最基础的网络爬虫识别了,正常的网络访问者都是通过浏览器对网站进行访问

  • php生成唯一uid的解决方法详解

    目录 一.生成唯一uuid 二.生成唯一uid 三.生成唯一uid的正确方法 补充 一.生成唯一uuid 看到某些人会用uuid去代替用户的uid 从代码中可以看出,通过unique生成一个以毫秒级时间戳为前缀的字符后md5加密 再通过分隔符进行分割后得到uuid 这种方式虽然极大程度的避免了uid的重复 但是生成的uid太长,足足36个字符,而且是混杂英文和数字符号的,可读性很差 而一般的uid中都是纯数值组成的 <?php function generateUUid($strtoupper

  • LyScript实现对内存堆栈扫描的方法详解

    LyScript插件中提供了三种基本的堆栈操作方法,其中push_stack用于入栈,pop_stack用于出栈,而最有用的是peek_stack函数,该函数可用于检查指定堆栈位置处的内存参数,利用这个特性就可以实现,对堆栈地址的检测,或对堆栈的扫描等. LyScript项目地址:https://github.com/lyshark/LyScript peek_stack命令传入的是堆栈下标位置默认从0开始,并输出一个十进制有符号长整数,首先实现有符号与无符号数之间的转换操作,为后续堆栈扫描做准

  • Spring循环依赖的解决方法详解

    目录 什么是循环依赖: Spring实例Bean的本质 循环依赖主要场景 什么情况下循环依赖可以被解决 解决方式 说明:spring如何解决循环依赖,是面试中经常问到的题目,今天我们就来分享一下spring是如何解决循环依赖问题的. 什么是循环依赖: 我们先来看看官方文档的说法: 通俗来讲,就是A依赖B或者B依赖A,或者C依赖自己本身,或是三个以上,例如A依赖B,B依赖C,C又依赖A.如下图: Spring实例Bean的本质 Spring在实例化一个bean的时候,是首先递归的实例化其所依赖的所

  • ASP在ACCESS中模糊查询"内存溢出"的解决方法

    今天在日常维护一个网站时,发现该网站的留言程序没有经过严格的验证过滤,导致了将近十万条垃圾数据.而其中又不乏重要信息,需要清理数据,以及增加更为严格的验证措施. 而通过在数据库中直接删除又不太科学,会误删很多重要信息. 通过 模糊查询语句: 复制代码 代码如下: select * from Feedback where Comments like '%http%' 结果:"内存溢出" 经过不断的搜索,找出了问题的主要原因: asp 中用 LIKE 关键字查询日文符号就会出错,比如说Ch

  • Java系统的高并发解决方法详解

    一个小型的网站,比如个人网站,可以使用最简单的html静态页面就实现了,配合一些图片达到美化效果,所有的页面均存放在一个目录下,这样的网站对系统架构.性能的要求都很简单,随着互联网业务的不断丰富,网站相关的技术经过这些年的发展,已经细分到很细的方方面面,尤其对于大型网站来说,所采用的技术更是涉及面非常广,从硬件到软件.编程语言.mysql" target="_blank" title="MySQL知识库">数据库.WebServer.防火墙等各个领域

随机推荐