Linux删除文件不同方法效率对比

测试一下Linux下面删除大量文件的效率。

首先建立50万个文件

$ test for i in $(seq 1 500000);do echo text >>$i.txt;done

1. rm删除

$ time rm -f *
zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y
zsh: argument list too long: rm
rm -f * 3.63s user 0.29s system 98% cpu 3.985 total

由于文件数量过多，rm不起作用。

2. find删除

$ time find ./ -type f -exec rm {} \;
find ./ -type f -exec rm {} \; 49.86s user 1032.13s system 41% cpu 43:19.17 total

大概43分钟,我的电脑。。。。。。边看视频边删的。

3. find with delete

$ time find ./ -type f -delete
find ./ -type f -delete 0.43s user 11.21s system 2% cpu 9:13.38 total

用时9分钟。

4. rsync删除

# 首先建立空文件夹blanktest
$ time rsync -a --delete blanktest/ test/
rsync -a --delete blanktest/ test/ 0.59s user 7.86s system 51% cpu 16.418 total16s

很好很强大。

5. Python删除

import os
import timeit

def main():
  for pathname,dirnames,filenames in os.walk('/home/username/test'):
    for filename in filenames:
      file=os.path.join(pathname,filename)
      os.remove(file)
if __name__=='__main__':
t=timeit.Timer('main()','from __main__ import main')
print t.timeit(1)　　
1
2
$ python test.py 529.309022903

大概用时9分钟。

6. Perl删除

$ time perl -e 'for(<*>){((stat)[9]<(unlink))}'
perl -e 'for(<*>){((stat)[9]<(unlink))}' 1.28s user 7.23s system 50% cpu 16.784 total16s

这个应该最快了。

7、结果：

  • rm：文件数量太多，不可用
  • find with -exec 50万文件耗时43分钟
  • find with -delete 9分钟
  • Perl 16sPython 9分钟
  • rsync with -delete 16s

结论：删除大量小文件rsync最快，最方便。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • 详解在Linux中清空或删除大文件内容的5种方法

    有时,在处理Linux终端中的文件时,您可能希望清除文件的内容,而无需使用任何Linux命令行编辑器打开它.怎么能实现这一目标?在本文中,我们将借助一些有用的命令,通过几种不同的方式清空文件内容. 警告:在我们继续查看各种方法之前,请注意,因为在Linux中一切都是文件,所以必须始终确保要清空的文件不是重要的用户或系统文件.清除关键系统或配置文件的内容可能会导致致命的应用程序/系统错误或故障. 就像刚刚说的,下面是从命令行清除文件内容的方法. 重要说明:出于本文的目的,我们access.log在

  • Linux服务器删除文件夹、删除文件、解压命令的方法

    一.删除文件夹 例:rm -rf /usr/java 将会删除/usr/java目录以及其下所有文件.文件夹 二.删除文件 例:rm -f /usr/tomcat/conf/server.xml 将会强制删除/usr/tomcat/conf/server.xml这个文件 三.解压 1. 解压到当前目录 例:tar -zxvf jdk-8u131-linux-x64.tar.gz 会将jdk-8u131-linux-x64.tar.gz解压到其所在的当前目录下 以上这篇Linux服务器删除文件夹.

  • linux定时备份MySQL数据库并删除以前的备份文件(推荐)

    linux定时备份MySQL数据库并删除以前的备份文件(推荐)

    备份数据库,这是必须会用到的,今天上午花了几个小时整理了一下,结果不错.下面详细的走一遍 一丶选择一个比较大位置来保存备份文件(创建文件就行) 使用mkdir来创建文件夹,这个简单. 二丶检查有没安装crond,如果没有,先安装 rpm -qa|grep cron  安装后会是 一般没有安装,所以先 yum -y install vixie-cron 然后再 yum -y install crontabs 这样服务就安装好了. 三丶写备份脚本 vi  /var/spool/cron/name.s

  • linux文件管理命令实例分析【权限、创建、删除、复制、移动、搜索等】

    本文实例讲述了linux文件管理命令.分享给大家供大家参考,具体如下: 1.文件权限 读      r      4 写      w      2 运行    x      1 文件分为三种权限: 拥有者权限 组内用户权限 组外用户权限 2.查看目录下的文件 ls   [选项] [路径或文件名] -l   :查看详细信息 -a   :查看所有文件,包括隐藏文件 第一列:文件权限     -   (rw-) (---) (---)     第一字符表示文件类型(-表示普通文件,d表示文件夹)  

  • Linux unlink函数和删除文件的操作方法

    1. unlink函数   对于硬链接来说,unlink 用来删除目录项,并把 inode 引用计数减 1,这两步也是一个原子过程.直到 inode 引用计数为 0,才会真正删除文件.   对于软链接来说,unlink 直接删除软链接,而不影响软链接指向的文件. 函数原型: int unlink(const char *pathname);   参数说明:   pathname:指定要移除的链接文件 返回值说明:   成功返回0:失败则返回-1,同时设置errno为相应值 2. 实验代码-myu

  • Linux如何处理文件已删除但空间不释放的问题

    问题产生背景 一个业务系统的服务器监控系统发来预警通知,磁盘空间使用率已经达到90%了,然后就登陆服务器搜索了下比较大的日志文件,全部都删除了(坑在此处埋上了),磁盘空间释放了一些,当时也是疏忽,没有确认查出并删除的文件大小的空间是否已经全部释放.没过几天,服务器又被预警了,比较纳闷,日志怎么增长的这么快,排查之后发现,原来是上次操作删除文件后,有个较大的文件空间没有释放导致的. 问题还原及解决办法 找到占用空间较大的数据文件 #查看磁盘空间使用情况 $ df -h #先查询/tmp目录下占用空

  • Linux实现定时备份MySQL数据库并删除30天前的备份文件

    1. MySQL5.6以上版本 2. 修改 /etc/my.cnf 文件 # vim /etc/my.cnf [client] host=localhost user=你的数据库用户 password='你的数据库密码' 3. 编写数据库脚本 mysql-backup.sh # vim mysql-backup.sh #!/bin/bash backupDir=数据库备份目录 backupTime=`date +%Y%m%d%H%M%S` mysqldump 你的数据库 | gzip > $ba

  • Linux文件删除后空间未释放问题详解

    前言 当系统空间使用量过大需要清理空间或者清理某个文件时,有时会出现执行了删除命令之后磁盘空间并没有释放,很多人首次遇到该情况时会比较困惑,在考虑是不是像windows系统的回收站一样,删除只是逻辑删除到回收站一样?其实不然,linux的回收站功能想了解的可以与我沟通或查资料了解一下,也是个比较实用的方法,此处我们主要实践文件删除后空间未释放问题. 1. 实验准备 想模拟该场景的方式很多,主要是实现文件被占用的场景.最简单的方式是拷贝文件,另一个常见方式是对于会编程或shell功底较好的同学可以

  • Linux删除文件不同方法效率对比

    测试一下Linux下面删除大量文件的效率. 首先建立50万个文件 $ test for i in $(seq 1 500000);do echo text >>$i.txt;done 1. rm删除 $ time rm -f * zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y zsh: argument list too long: rm rm -f * 3.63s user 0.29s syst

  • Linux 删除文件夹和文件的命令(强制删除包括非空文件)

    Linux 删除文件夹和文件的命令(强制删除包括非空文件)

    linux删除目录很简单,很多人还是习惯用rmdir,不过一旦目录非空,就陷入深深的苦恼之中,现在使用rm -rf命令即可. 直接rm就可以了,不过要加两个参数-rf 即:rm -rf 目录名字 -r 就是向下递归,不管有多少级目录,一并删除 -f 就是直接强行删除,不作任何提示的意思 1.删除文件夹实例: rm -rf /var/log/httpd/access 将会删除/var/log/httpd/access目录以及其下所有文件.文件夹 2.删除文件使用实例: rm -f /var/log

  • Linux删除文件提示Operation not permitted的处理办法

    经常有同事问,删除文件/目录时报Operation not permitted错误,这个要如何处理?! 这个一般是权限的问题,比如: 1. 普通用户且有足够的权限的话,一般文件夹可能是别的服务/进程掉用该文件夹 lsof +D  /Dir/Your/Want/To/Delete/ 先执行上面的命令,查询到调用该文件夹的进程IDs,然后再kill掉,这个时候应该就可以删了! 2. 普通用户且缺乏权限的话,如果要删除该文件夹则要借助su或者sudo命令来删除 3. 如果是root用户,依然报上面的错

  • php使用file函数、fseek函数读取大文件效率对比分析

    php读取大文件可以使用file函数和fseek函数,但是二者之间效率可能存在差异,本文章向大家介绍php file函数与fseek函数实现大文件读取效率对比分析,需要的朋友可以参考一下. 1. 直接采用file函数来操作 由于 file函数是一次性将所有内容读入内存,而PHP为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足,使服务器出现宕机,所以默认情况下限制只能最大使用内存16M,这是通过php.ini里的 memory_limit = 16M 来进行设置,这个值如果设置-1,

  • Linux系统删除文件夹和文件的命令

    linux删除目录很简单,很多人还是习惯用rmdir,不过一旦目录非空,就陷入深深的苦恼之中,现在使用rm -rf命令即可. 直接rm就可以了,不过要加两个参数-rf 即:rm -rf 目录名字 -r 就是向下递归,不管有多少级目录,一并删除 -f 就是直接强行删除,不作任何提示的意思 删除文件夹实例: rm -rf /var/log/httpd/access 将会删除/var/log/httpd/access目录以及其下所有文件.文件夹 删除文件使用实例: rm -f /var/log/htt

  • Linux 按时间批量删除文件命令（删除N天前文件）

    需要根据时间删除这个目录下的文件,/home/lifeccp/dicom/studies,清理掉20天之前的无效数据. 可以使用下面一条命令去完成: find /home/lifeccp/dicom/studies -mtime +21 -name "*.*" -exec rm -Rf {} \; 这个是根据时间删除. 下面简要解释一下,这句shell命令: find /home/lifeccp/dicom/studies -mtime +21 -name "*.*"

  • Linux bash删除文件中含“指定内容”的行功能示例

    本文实例讲述了Linux bash删除文件中含"指定内容"的行功能.分享给大家供大家参考,具体如下: #!/bin/sh # 功能: 删除文件中含"指定内容"的行 # 运行方式: ./dline.sh c.log ==> 产生输出文件: c.log0 array=( "rm -f lvr_3531_pf_new" "arm-hisiv100-linux-gcc " "In function " &qu

  • linux 不删除文件,清空文件中内容的命令

    在某些时候,需要清空文件内容,而不删除文件.比喻有些日志文件(log.txt):在linux下的命令为:true >log.txt 测试结果: touch log.txt →#新建文件log.txt vi log.txt →#编辑文件 随便输入什么东西 :wq!回车 →#保存退出: cat log.txt →#查看 文件内容: true >log.txt →#查看文件里面的内容: 附: rm -r 删除目录,不管目录中有没有文件 rm -rf 强制删除,没有提示 一般用到的就这两个,删除文件可

  • Linux(ubuntu)下实现增加/删除文件权限

    [权限篇] ubuntu系统中,对于不同用户及不同用户组中用户对文件的操作权限都不相同,通过控制台我们可以快速的对文件权限进行操作. 对于修改权限可以使用两种方案来更改其权限,下面认识一下文件系统权限的组成: 文件权限查看: 1.查看文件权限命令:         ls -lh  [option:文件名] 2.查看文件夹权限命令    ls -ld  [option:文件夹名] 例:-rw-r--r-- 解释:-(代表类型)×××(所有者)×××(组用户)×××(其他用户) 方案一: 下面使用

  • Linux命令行删除文件实操方法

    rm命令 rm命令是大多数人在删除文件时经常使用的命令,它用于删除一个文件或者目录. rm命令的语法如下: rm /path/to/file 还可以删除文件夹和子文件夹中的所有文件,如下所示: rm -R /path/to/folder 文件一旦通过rm命令删除,则无法恢复,所以必须格外小心地使用该命令.但是,我们可以通过使用各种方法在某种程度上防止误删文件.例,如果要删除多个文件,则可以在删除每个文件之前得到提示,以便确保删除正确的文件. rm -i /path/to/file 每当运行上述命

随机推荐