linux中快速列出文件列表的多种方法总结

前言

最近在工作中碰到一个很棘手的问题，需要读取出ubuntu系统中某个目录下所有文件，由于服务器中存储的文件实在太多，导致此过程效率十分低下，动辄需要等待一个小时之久，还只是一个目录。于是如何快速获取文件列表便是这两天的头等大事，折腾半天找到一个较为快速的方法，记录如下，话不多说了，来一起看看详细的介绍吧。

多种实现方法

尝试了多种方法，有编程的和非编程的。

1、walk

python的walk库能够递归的读取目录下所有文件，这个是最常规的方法，然而效率有些缓慢。实现很简单，不赘述。

2、os.scandir

python中的os.scandir方法官方解释为快速读取目录，测试了一下速度相对walk而言是由提高，但是还是达不到要求，也需要自己写递归，代码如下：

def scan_path(file_path, level = 3):
 files = []
 if level >= 0:
  path = os.scandir(file_path)
  for p in path:
   if p.is_dir():
    files.extend(scan_path(p.path, level - 1))
   else:
    files.append(p.path)
 return files

当这两种方法都行不通的时候我就开始考虑才用非编程方法了。理论上来说python的执行效率已经蛮高了，虽然可能达不到c或者c++的速度，但是相比java、C#来说已经够快了，所以就没有再考虑编程的方式，而是转向linux系统原生的方式。

3、ls

最先想到的就是ls命令，使用如下命令

ls –l –R(或-lR) src > list.txt

此命令能够列出src目录下的所有文件，但是效率还是不够高，而且结果包含了目录信息以及文件信息，不太整齐，需要后续处理。

4、tree

tree命令本身用于列出文件系统的结构树，在设置一些参数的情况下也能够实现列出所有目录和文件的功能。

tree -afi -L 3 -o 2.txt --noreport src

-a列出所有文件，-f列出完整路径（结果为绝对路径或者相对路径与find用法一致），-i不画tree的结构线， -L列出多少层目录，-o输出到文件，--noreport不要最后的summary。

5、find

find命令本身是查找文件的命令，但是如果使用得当，能够快速列出目录下文件，命令如下：

find src > 1.txt

此命令速度足够快，基本能够满足需要了。find的结果相对当前src的路径，也就是说其每条结果的开头均是src，如果src为绝对路径，则结果为绝对路径，如果src为相对路径，则结果以此相对路径为开头。

6、locate

又Google了一下，发现locate与find的功能相似，locate也能够查找文件，于是猜想locate也能够实现此功能，试之，果然可以，写法都是一样的。

locate src > 1.txt

不同点在于无论src为相对路径还是绝对路径，其结果均为绝对路径。

使用time命令进行命令执行时间测试，发现find和locate时间基本相同，有时locate会稍微快一些，而tree命令则有些慢。

结论

以上均可取到文件夹下所有文件，使用walk和scandir最为方便与程序集成，但是速度稍微有些慢，find和locate命令速度较快，tree命令功能强大，但速度相对find和locate有些慢，此三者若要与python集成，则需要在程序中使用os.popen等管道机制来执行拼接的bash命令。所以以上命令各有所长，按照自己的需求取舍。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我们的支持。

赞 (0)

相关推荐

  • linux中关于ftp查看不到文件列表的问题详解

    linux中关于ftp查看不到文件列表的问题详解

    今天配置linux服务器的ftp后,登录都正常,使用ftp工具登录后,所有目录都可以通过手工写路径访问,但是文件夹和文件列表看不到数据. 后来分析,总结原因得出结果是跟selinux有关,于是通过关闭selinux后尝试,ftp文件夹和文件列表都正常可以查看了. 如下2张图为解决前和解决后的截图: 1.解决前,通过输入正确的路径可以正常读取访问,但是看不到列表. 2.解决后,可以可视化查看列表数据. 在Linux下设置selinux有三种方法 一.在图形界面中: 桌面-->管理-->安全级别和

  • linux中快速列出文件列表的多种方法总结

    前言 最近在工作中碰到一个很棘手的问题,需要读取出ubuntu系统中某个目录下所有文件,由于服务器中存储的文件实在太多,导致此过程效率十分低下,动辄需要等待一个小时之久,还只是一个目录.于是如何快速获取文件列表便是这两天的头等大事,折腾半天找到一个较为快速的方法,记录如下,话不多说了,来一起看看详细的介绍吧. 多种实现方法 尝试了多种方法,有编程的和非编程的. 1.walk python的walk库能够递归的读取目录下所有文件,这个是最常规的方法,然而效率有些缓慢.实现很简单,不赘述. 2.os

  • linux下快速列出局域网中所有主机名（计算机名）的脚本

    最近有列出局域网中所有主机名的需求(SMB协议里的),但是findsmb命令总是列不全,搜了搜网上也没什么现成的解决方案,于是自己写了个python脚本 脚本会扫描局域网arp表中所有ip,并尝试解析其主机名,这样可以较为彻底地列出相关信息. 注意,运行这个脚本需要samba-common-bin和arp-scan这两个包,没有的请先apt install它们. 用法:直接运行或用python3运行,然后输入需要扫描的网卡名(network interface)(不知道的运行ifconfig可查

  • Linux中du-查看文件夹大小并按大小进行排序详解

    Linux中du-查看文件夹大小并按大小进行排序详解 某天,我想检查一下电脑硬盘的的使用情况,作为一个命令控,废话少说,开始吧: 使用df 命令查看当前磁盘使用情况: jack@jiaobuchong:~$ df -lh Filesystem Size Used Avail Use% Mounted on /dev/sda3 18G 5.7G 11G 35% / udev 2.7G 4.0K 2.7G 1% /dev tmpfs 553M 916K 552M 1% /run none 5.0M

  • Linux中的搜索文件命令

    文件搜索命令locate:搜索快,新建文件无法搜索: 命令格式: locate 文件名  //在后台数据库中按文件名搜索,搜索速度快: /var/lib/mlocate : locate命令所搜索的后台数据库 命令:updatedb // 更新数据库,默认是一天自动更新: /etc/uodatedb.conf 配置文件中: 1.      PRUNE_BIND_MOUNTS = "yes" 开启搜索限制 2.      PRINEFS = 搜索时,不搜索的文件系统: 3.      P

  • Linux 中批量提取文件夹下所有目录及文件名称

    1.当前目录下打开CMD控制台窗口,执行如下bat命令:dir *.*/b>文件名.txt 2.如下图例操作步骤: 打开CMD窗口 输入命令 生成文件 结果截图 总结 以上所述是小编给大家介绍的Linux 中批量提取文件夹下所有目录及文件名称 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的.在此也非常感谢大家对我们网站的支持! 如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

  • linux中批量添加文件前缀的操作方法

    需要在文件夹内所有txt文件的文件名前面添加"gt_"; 就是由原来的文件"xxx.txt"变成"gt_xxx.txt": 网上搜来的脚本如下: for i in `ls`; do mv -f $i 'echo "gt_"$i`; done 1.首先, linux命令行切换到你需要修改文件名的目录之下: cd 目的目录 2.在该目录下新建sh文件: touch xxx.sh 3.打开xxx.sh文件: vim xxx.sh 3

  • 如何优雅地删除 Linux 中的垃圾文件的方法

    不知道大家是否也跟我一样,是一只要把的自己电脑文件安排的条理有序,把没用的文件会及时删掉的程序猿呢?如果是的话,那么我们可以愉快地探讨下文章的内容.如果不是的话,你也可以留下来凑凑热闹嘛(>-<). 下面要介绍的是今天的主角-- tmpwatch ,它能帮助我们递归删除在给定时间内没有访问的文件和空目录. 当然,我们也可以使用 find 命令查找并删除超过 x 天未访问的文件,不过 tmpwatch 可以一步到位,何乐而不为? tmpwatch 默认根据文件或目录的访问时间(access ti

  • Linux删除目录下的文件的10种方法小结

    看到了一遍文章,便突发奇想的想起Linux中删除目录下的所有文件的方法:整理了几个,如有不足,还望读者不吝赐教! 删除当前目录下的文件 1.rm -f * #最经典的方法,删除当前目录下的所有类型的文件 2.find . -type f -delete或find . -type f -exec rm -f {} \; #用find命令查找普通文件并删除or用find命令的处理动作将其删除 3.find . -type f | xargs rm -f #用于参数列表过长;要删除的文件太多 4.rm

  • Linux 中Tomcat远程调试代码的实现方法

    Linux 中Tomcat远程调试代码的实现方法

    Linux 中的tomcat远程调试代码 1,是要编辑catalina.sh文件.  而且要改成这 样: CATALINA_OPTS="-server -Xdebug -Xnoagent -Djava.compiler=NONE -Xrunjdwp :transport=dt_socket,server=y,suspend=n,address=5888" 2.eclipse 中设置: 第一步: 第二步: 第三步: 以上就是Linux 中Tomcat远程调试代码的实现方法,如有疑问请留言

  • python中readline判断文件读取结束的方法

    本文实例讲述了python中readline判断文件读取结束的方法.分享给大家供大家参考.具体分析如下: 大家知道,python中按行读取文件可以使用readline函数,下面现介绍一个按行遍历读取文件的方法,通过这个方法,展开我们要讨论的问题: 复制代码 代码如下: filename = raw_input('Enter your file name')  #输入要遍历读取的文件路径及文件名 file = open(filename,'r') done = 0 while not  done:

随机推荐