解决File size limit exceeded 错误的方法

昨日遇到一个问题，使用Yii框架编写php脚本，将db中100多万的数据导出，运行，成功。

但是在 运行到第 49万条时，脚本终止，提示错误“File size limit exceeded”，遂google之，原来是某个文件大小超过系统限制。笔者第一反应，日志文件写满了？？？赶忙查看 log，居然只有几十K !!! 那么这个 “大文件”在哪里呢？

开始分析，不可能是Yii框架的问题，此乃linux操作系统异常问题与框架无光，也不是 日志文件大小，仔细查看了所有设置的log路径下的文件，均小的可以忽略，即使是将Yii的debug关掉，也出现了相同的问题。

那么换个思路，重新运行脚本，再次运行脚本，发现 dead的时间很有规律，均是在45万条记录时挂掉，一条不多一条不少，开始怀疑与进程有关。决定查看脚本进程所影响到的io。

1、先获取脚本进程的 <pid>；

2、使用lsof命令查看此pid的io情况 ： lsof -p <pid>

发现一个疑似文件 data0/xdebug/cachegrind.out.<pid>，随着脚本的执行，这个xdebug文件的大小也随之增大，最后，如愿，挂掉！此时文件大小为：2147483647！！

哈哈，好熟悉的数字，2^31 -1 ！！

看来问题找到了，在脚本执行时，xdebug也随之对这个脚本进程进行写记录日志，当此文件大小超出 系统所能支持的文件大小时，如期挂掉。

ok, 将xdebug关掉，重跑脚本，一百多万的记录顺利跑完，搞定。

ps： 笔者所使用的服务器为32位系统，而在32位操作系统中，由于是二进制，其能最大存储的数据是1111111111111111111111111111111。

正因为此，体现在其他可视系统中的十进制就为2147483647。

赞 (0)

相关推荐

  • 解决File size limit exceeded 错误的方法

    昨日遇到一个问题,使用Yii框架编写php脚本,将db中100多万的数据导出,运行,成功. 但是在 运行到第 49万条时,脚本终止,提示错误"File size limit exceeded",遂google之,原来是某个文件大小超过系统限制.笔者第一反应,日志文件写满了???赶忙查看 log,居然只有几十K !!! 那么这个 "大文件"在哪里呢? 开始分析,不可能是Yii框架的问题,此乃linux操作系统异常问题与框架无光,也不是 日志文件大小,仔细查看了所有设置

  • 解决python中0x80072ee2错误的方法

    解决python中出现x80072ee2错误的方法: 在官网上直接下载"python-3.7.2-amd64.exe"并安装即可: 因为如果安装"python-3.7.2-amd64-webinstall.exe",自动访问外网,导致无法访问. 安装错误信息: Setup failed One or more issues caused the setup to fail.Please fix the issues and then retry setup.For

  • 在LayUI图片上传中,解决由跨域问题引起的请求接口错误的方法

    在LayUI图片上传中,解决由跨域问题引起的请求接口错误的方法 在ssm框架整合中,使用layui作为前端页面,拖拽图片上传,填写接口后,后台能够成功接收到数据,但由于页面资源和后台访问地址的不一致(即使域名一致但端口不一致)引起跨域问题,导致接收资源后在前端无法接收到后台返回的数据. 前台页面: <html> <head> <meta charset="UTF-8"> <title>校园网络打印</title> <li

  • 解决idea中maven项目无端显示404错误的方法

    解决idea中maven项目无端显示404错误的方法

    问题描述: 有时我们会发现idea中创建的maven项目老是显示项目路径找不到,自己反复检查代码也没发现错误,如何你项目的web.xml是直接由idea默认创建的,而你的头文件又是后来直接用3.1或者更高的版本(推荐3.1版本)覆盖的原来的头文件,那我这篇博客就对你有帮助了. 问题原因: 当我们idea使用maven创建web项目时,idea默认提供的web.xml非常古老,功能不完善.如果我们只是单纯替换其头文件的话是没有用的,idea中web.xml的配置还是没有变. 如何解决: 1.将原来

  • 解决python对齐错误的方法

    运行的时候,有时候会出现语法错误: IndentationError: unexpected indent 可以用如下方法解决: 首先把空格显示出来,空格的地方 ,由点代替 修改把tab 代表4个位置 然后格式就对齐了. 实例扩展: 如何解决文本对齐 大家好,我是python学习新手,我在一个练习题目中遇到问题. 题目的要求是把列表打印输出并对齐. 输入数据: tableData = [['apples', 'oranges', 'cherries', 'banana'], ['Alice',

  • 解决Android 源码编译错误的问题

    如下所示: Building with Jack: out/target/common/obj/JAVA_LIBRARIES/framework_intermediates/with-local/classes.dex FAILED: /bin/bash out/target/common/obj/JAVA_LIBRARIES/framework_intermediates/with-local/classes.dex.rsp Out of memory error (version 1.2-a

  • 完美解决java.lang.OutOfMemoryError处理错误的问题

    原因: 常见的有以下几种: 1.内存中加载的数据量过于庞大,如一次从数据库取出过多数据: 2.集合类中有对对象的引用,使用完后未清空,使得JVM不能回收: 3.代码中存在死循环或循环产生过多重复的对象实体: 4.使用的第三方软件中的BUG: 5.启动参数内存值设定的过小: 常见错误提示: 1.tomcat:java.lang.OutOfMemoryError: PermGen space 2.tomcat:java.lang.OutOfMemoryError: Java heap space 3

  • form+iframe解决跨域上传文件的方法

    (1)  jsp代码: <form id="form" name="form" enctype="multipart/form-data" method="post" target="hidden_frame"> <table style="border:0;width:100%;text-align:middle;"> <tr style="bo

  • C# httpwebrequest访问HTTPS错误处理方法

    C# httpwebrequest访问HTTPS链接时遇到这个错误,但是如果我开抓包工具,比如filddler2,则POST返回正常 错误提示的Message为: 基础连接已经关闭: 发送时发生错误. InnerException为: 从传输流收到意外的 EOF 或 0 个字节. 试了网上的N种方法,以下是本次的解决方案: ServicePointManager.SecurityProtocol = SecurityProtocolType.Ssl3; 把网上找到的解决方案列一下,没准就能解决了

  • 解决 java.lang.NoSuchMethodError的错误

    解决 java.lang.NoSuchMethodError的错误 1 原因 在项目依赖比较复杂或者 Java 运行的环境有问题时,或者同一类型的 jar 包有不同版本存在,都可能触发该错误.本质上说是 JVM 找不到某个类的特定方法,也就是说 JVM 加载了错误版本的类.说白了,就是 JVM 找不到真正想要调用的方法啦!出现该错误的情形主要有以下两个种: 导入了不匹配的包版本: 开发环境和运行环境不一致. 2 解决方法 查看"External Libraries",看报错的方法到底存

随机推荐