Linux中出现“No space left on device”错误的排查与解决方法

前言

最近这两天登陆服务器，发现用 wget 下载文件的时候提示“No space left on device”，而且连使用 tab 键进行补全时也会提示该错误。

之前遇到过一次这种问题，是由于磁盘空间被占满了，导致无法创建新文件。正常情况下，删除一些文件来释放空间，即可解决该问题。

当我使用 df 命令查看分区情况时，结果如下：

# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/vda1 29G 29G 0 100% /
udev  10M 0 10M 0% /dev
tmpfs  101M 232K 100M 1% /run
tmpfs  5.0M 0 5.0M 0% /run/lock
tmpfs  405M 0 405M 0% /run/shm

看到这里，我以为磁盘真的被 100% 占用了，于是就查看了各目录的占用情况：

# du -sh /*
8.8M /bin
30M /boot
0 /dev
5.3M /etc
24K /home
0 /initrd.img
205M /lib
4.0K /lib64
16K /lost+found
8.0K /media
4.0K /mnt
4.0K /opt
0 /proc
2.5G /root
232K /run
5.2M /sbin
8.0K /srv
0 /sys
4.0K /tmp
2.6G /usr
1.8G /var
0 /vmlinuz

很明显，总共的磁盘占用完全不到 10G，磁盘理论上并未被占满。

这种情况下，很可能是小文件过多，导致 inode 急剧增加，消耗完 inode 区域的空间。

如果真是如此，那么即使磁盘空间有剩余，但由于无法创建新的 inode 来存储文件的元信息，也就无法创建新文件。

因此，我用 df 命令进行验证：

# df -ih
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/vda1 1.9M 299K 1.6M 17% /
udev  123K 299 123K 1% /dev
tmpfs  126K 249 125K 1% /run
tmpfs  126K 4 126K 1% /run/lock
tmpfs  126K 2 126K 1% /run/shm

可以看到，inode 区域只被占用了一小部分，还有大量的空间未使用，所以也不是 inode 区域被占满的问题。

到了这里，我的内心是非常郁闷的。这个问题直接导致了Apache、MySql以及其它的一些服务均无法启动，服务器已经基本没法使用了，然而原因却扑朔迷离。

最后，服务器提供商告诉我另一种可能的情况，就是有些文件删除时还被其它进程占用，此时文件并未真正删除，只是标记为 deleted，只有进程结束后才会将文件真正从磁盘中清除。

于是我通过 lsop 命令查看了被进程占用中的文件：

# lsof | grep deleted
mysqld 1952 2982 mysql 5u REG  254,1  0 127 /tmp/ibzMEe4z (deleted)
mysqld 1952 2982 mysql 6u REG  254,1  0 146 /tmp/ibq6ZFge (deleted)
mysqld 1952 2982 mysql 10u REG  254,1  0 150 /tmp/ibyNHH8y (deleted)
apache2 2869  root 9u REG  254,1  0 168 /tmp/.ZendSem.2w14iv (deleted)
apache2 2869  root 10w REG  0,16  0 11077 /run/lock/apache2/rewrite-map.2869 (deleted)
...
python 3102  root 1w REG  254,1 22412342132 264070 /var/log/nohup.out (deleted)

终于找到了罪魁祸首，原来是在后台运行的 Python 脚本，源源不断地将输出保存到 /var/log/nohup.out 文件中，文件大小居然达到了20G+！

前阶段在后台运行脚本之后，就没再管过它。估计是我在 Python 运行过程中删掉了 nothup.out 文件，由于该文件被占用，所以只能先标记为 deleted，而未真正删除，最后导致磁盘爆满。

这次的教训提醒了我，不能将任务简单放到后台就放任不管，特别是使用 nohup 命令时，所有的输出都会被不断地添加到同一个文件中，如果该进程不会自己终止，就可能导致输出文件占满整个磁盘。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对我们的支持。

赞 (0)

相关推荐

  • Apache No space left on device的解决办法

    用以下命令可以查看所有的信号量: # ipcs -s ------ Semaphore Arrays -------- key semid owner perms nsems 0x00000000 19234816 nobody 600 1 0x00000000 19267585 nobody 600 1 0x00000000 19300354 nobody 600 1 0x00000000 19398659 nobody 600 1 0x00000000 19431428 nobody 600

  • CentOS 出现no space left on device错误解决办法

    CentOS 出现no space left on device错误解决办法

    我用的阿里云的CentOS服务器,用的nginx+apache,最近启动nginx报28:no space left on device的错误,就是磁盘满了 一:解决 1.使用命令:df -lk 发现果然有个磁盘已满 2.使用命令:du --max-depth=1 -h  查找大文件,发现/home文件夹下有17G的东西,因为我的apache是装在/home下的,肯定是网站运行的日志文件占用的空间 3.进入apache下的logs目录 使用命令:ls -lht 查看文件的大小,果然有个8.6G文

  • Linux中出现“No space left on device”错误的排查与解决方法

    前言 最近这两天登陆服务器,发现用 wget 下载文件的时候提示"No space left on device",而且连使用 tab 键进行补全时也会提示该错误. 之前遇到过一次这种问题,是由于磁盘空间被占满了,导致无法创建新文件.正常情况下,删除一些文件来释放空间,即可解决该问题. 当我使用 df 命令查看分区情况时,结果如下: # df -h Filesystem Size Used Avail Use% Mounted on /dev/vda1 29G 29G 0 100% /

  • Linux中Oracle启动侦听报错TNS:permission denied的解决方法

    前言 最近在开发环境 oracle 启动侦听的时候,出现了 TNS:permission denied 的问题,通过网上和咨询朋友,最终找到了解决方案,现在共享出来给有需要的朋友. 错误描述 [oracle@oracle ~]$ lsnrctl start LSNRCTL for Linux: Version 11.2.0.1.0 - Production on 27-MAR-2015 15:37:59 Copyright (c) 1991, 2009, Oracle. All rights r

  • Linux中查看物理CPU个数、核数、逻辑CPU个数的方法

    # 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 # 查看物理CPU个数 cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l # 查看每个物理CPU中core的个数(即核数) cat /proc/cpuinfo| grep "cpu cores"| uniq # 查看逻辑CPU的个数 cat /proc/cpuinfo

  • linux普通用户su root切换提示没有文件或目录的解决方法

    linux普通用户su root切换提示没有文件或目录的解决方法

    1. 首先进入单用户模式: 1). ubuntu : 上述情况可以在grub界面选择第二项修复,但没有grub可以参考: 1.重启ubuntu,随即长按shirft进入grub菜单: 2.选择recovery mode,按"e"键进入编辑页面:如下: 非恢复模式为:   3.将ro recovery nomodeset替换为"rw single init=/bin/bash" (上述的界面中将改为rw single init=/bin/bash) 4.按ctrl+x

  • Android编程中调用Camera时预览画面有旋转问题的解决方法

    本文实例讲述了Android编程中调用Camera时预览画面有旋转问题的解决方法.分享给大家供大家参考,具体如下: 在调用Camera写应用的时候,前后摄像头的情况有时候是不一样的.有时候,明明后摄像头没有问题,而调用到前摄像头时,却倒转了180°,或者其他角度,百思不得其解.在查看了Android源码之后,发现它的解决办法很是好,接下来贴个源码,以备日后查看. public static int getDisplayRotation(Activity activity) { int rotat

  • Yum安装中出现错误mirrorlist.txt的解决方法

    Yum安装中出现错误mirrorlist.txt的解决方法

    发现问题 今天在使用Yum install命令安装软件的时候一直提示一个错误,错误提示如下面: # yum install mysql Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile YumRepo Error: All mirror URLs are not using ftp, http[s] or file. Eg. </HTML>/ removing mirrorlist with no

  • angular4中*ngFor不能对返回来的对象进行循环的解决方法

    解决方法:可以循环返回的对象,得到对象里每一个key所对应的值,然后把值放到自己定义的一个数组中. 例如: tipAttr: any = []; $.each(response.ipCustomer.tip, function(key, val) { console.log(val); self.tipAttr.push(val); return self.tipAttr; }); 以上这篇angular4中*ngFor不能对返回来的对象进行循环的解决方法就是小编分享给大家的全部内容了,希望能给

  • Go中http超时问题的排查及解决方法

    背景 最新有同事反馈,服务间有调用超时的现象,在业务高峰期发生的概率和次数比较高.从日志中调用关系来看,有2个调用链经常发生超时问题. 问题1: A服务使用 http1.1 发送请求到 B 服务超时. 问题2: A服务使用一个轻量级http-sdk(内部http2.0) 发送请求到 C 服务超时. Golang给出的报错信息时: Post http://host/v1/xxxx: net/http: request canceled while waiting for connection (C

  • Mysql5.7中使用group concat函数数据被截断的问题完美解决方法

    前天在生产环境中遇到一个问题:使用 GROUP_CONCAT 函数select出来的数据被截断了,最长长度不超过1024字节,开始还以为是navicat客户端自身对字段长度做了限制的问题.后面故意重新INSERT了一个字段长度超1024字节的数据,但是navicat能完整展示出来,所以就排除了navicat的问题. 然后想到1024这个熟悉的数字,会不会是C++框架在接收MySQL通过socket传输过来的数据时被处理了呢?于是手工在日志中打印这个字段,发现即使数据长度超过1024字节仍然是可以

  • IDEA中使用Git拉取代码时报 Git pull failed原因及解决方法

    产生原因: 先说一下Git和SVN的区别吧,有助于更好的理解这个问题. SVN从服务器上update文件时,如果文件有冲突,SVN会自动帮你merge,很方便:GIT如果本地有文件改动未提交,且该文件和服务器最新版本有冲突,pull更新时会提示错误,无法更新. 就是这个小小的区别,造成了产生"Git Pull Failed"错误的根本原因. 解决办法: Git编译器,要么就是先commit自己的改动再pull,要么就是使用Stash Changes后再pull,如下. 1. 当本地改动

随机推荐