Python编写运维进程文件目录操作实用脚本示例

目录
  • 1. 执行外部程序或命令
  • 2. 文件和目录操作(命名、删除、拷贝、移动等)
  • 3. 创建和解包归档文件
  • 参考

Python在很大程度上可以对shell脚本进行替代。笔者一般单行命令用shell,复杂点的多行操作就直接用Python了。这篇文章就归纳一下Python的一些实用脚本操作。

1. 执行外部程序或命令

我们有以下C语言程序cal.c(已编译为.out文件),该程序负责输入两个命令行参数并打印它们的和。该程序需要用Python去调用C语言程序并检查程序是否正常返回(正常返回会返回 0)。

#include<stdio.h>
#include<stdlib.h>
int main(int argc, char* argv[]){
    int a = atoi(argv[1]);
    int b = atoi(argv[2]);
    int c = a + b;
    printf("%d + %d = %d\n", a, b, c);
    return 0;
}

那么我们可以使用subprocess模块的run函数来spawn一个子进程:

res = subprocess.run(["Python-Lang/cal.out", "1", "2"])
print(res.returncode)

可以看到控制台打印出进程的返回值0:

1 + 2 = 3
0

当然,如果程序中途被杀死。如我们将下列while.c程序写为下列死循环(已编译为.out文件):

#include<stdio.h>
#include<stdlib.h>
int main(int argc, char* argv[]){
    while(1);
    return 0;
}

我们同样用run函数接收其返回值:

res = subprocess.run("Python-Lang/while.out")
print(res.returncode)

不过我们在程序运行中用shell命令将其终止掉:

(base) orion-orion@MacBook-Pro Python-Lang % ps -a |grep while
11829 ttys001    0:17.49 Python-Lang/while.out
11891 ttys005    0:00.00 grep while
(base) orion-orion@MacBook-Pro Python-Lang % kill 11829

可以看到控制台打印输出的进程返回值为-15(因为负值-N表示子进程被信号N终止,而kill命令默认的信号是15,该信号会终止进程):

-15

如果程序陷入死循环不能正常终止,我们总不能一直等着吧?此时,我们可以设置超时机制并进行异常捕捉:

try:
    res = subprocess.run(["Python-Lang/while.out"], capture_output=True, timeout=5)
except subprocess.TimeoutExpired as e:
    print(e)

此时会打印输出异常结果:

Command '['Python-Lang/while.out']' timed out after 5 seconds

有时需要获取程序的输出结果,此时可以加上capture_output参数,然后访问返回对象的stdout属性即可:

res = subprocess.run(["netstat", "-a"], capture_output=True)
out_bytes = res.stdout

输出结果是以字节串返回的,如果想以文本形式解读,可以再增加一个解码步骤:

out_text = out_bytes.decode("utf-8")
print(out_text)

可以看到已正常获取文本形式的输出结果:

...
kctl       0      0     33      6 com.apple.netsrc
kctl       0      0     34      6 com.apple.netsrc
kctl       0      0      1      7 com.apple.network.statistics
kctl       0      0      2      7 com.apple.network.statistics
kctl       0      0      3      7 com.apple.network.statistics
(base) orion-orion@MacBook-Pro Learn-Python %

一般来说,命令的执行不需要依赖底层shell的支持(如sh,bash等),我们提供的字符串列表会直接传递给底层的系统调用,如os.execve()。如果希望命令通过shell来执行,只需要给定参数shell=True并将命令以简单的字符串形式提供即可。比如我们想让Python执行一个涉及管道、I/O重定向或其它复杂的Shell命令时,我们就可以这样写:

out_bytes = subprocess.run("ps -a|wc -l> out", shell=True)

2. 文件和目录操作(命名、删除、拷贝、移动等)

我们想要和文件名称和路径打交道时,为了保证获得最佳的移植性(尤其是需要同时运行与Unix和Windows上时),最好使用os.path中的函数。例如:

import os
file_name = "/Users/orion-orion/Documents/LocalCode/Learn-Python/Python-Lang/test.txt"
print(os.path.basename(file_name))
# test.txt
print(os.path.dirname(file_name))
# /Users/orion-orion/Documents/LocalCode/Learn-Python/Python-Lang
print(os.path.split(file_name))
# ('/Users/orion-orion/Documents/LocalCode/Learn-Python/Python-Lang', 'test.txt')
print(os.path.join("/new/dir", os.path.basename(file_name)))
# /new/dir/test.txt
print(os.path.expanduser("~/Documents"))
# /Users/orion-orion/Documents

其中os.path.expanduser当用户或$HOME未知时, 将不做任何操作。如我们这里的$HOME就为/Users/orion-orion

(base) orion-orion@MacBook-Pro ~ % echo $HOME
/Users/orion-orion

如果要删除文件,请用os.remove(在删除前注意先判断文件是否存在):

file_name = "Python-Lang/test.txt"
if os.path.exists(file_name):
    os.remove(file_name)

接下来我们看如何拷贝文件。当然最直接的方法是调用Shell命令:

os.system("cp Python-Lang/test.txt Python-Lang/test2.txt")

当然这不够优雅。如果不像通过调用shell命令来实现,可以使用shutil模块,该模块提供了一系列对文件和文件集合的高阶操作,其中就包括文件拷贝和移动/重命名。这些函数的参数都是字符串,用来提供文件或目录的名称。以下是示例:

src = "Python-Lang/test.txt"
dst = "Python-Lang/test2.txt"
# 对应cp src dst (拷贝文件,存在则覆盖)
shutil.copy(src, dst)
src = "Python-Lang/sub_dir"
dst = "Python-Lang/sub_dir2"
# 对应cp -R src dst (拷贝整个目录树)
shutil.copytree(src, dst)
src = "Python-Lang/test.txt"
dst = "Python-Lang/sub_dir/test2.txt"
# 对应mv src dst (移动文件,可选择是否重命名)
shutil.move(src, dst)

可以看到,正如注释所言,这些函数的语义和Unix命令类似。如果你对Unix下的文件拷贝/移动等操作不熟悉,可以参见

https://www.jb51.net/article/231477.htm

https://www.jb51.net/article/183084.htm

默认情况下,如果源文件是一个符号链接,那么目标文件将会是该链接所指向的文件的拷贝。如果只想拷贝符号链接本身,可以提供关键字参数follow_symlinks:

shutil.copy(src, dst, follow_symlinks=True)

如果想在拷贝的目录中保留符号链接,可以这么做:

shutil.copytree(src, dst, symlinks=True)

有时在拷贝整个目录时需要对特定的文件和目录进行忽略,如.pyc这种中间过程字节码。我们可以为copytree提供一个ignore函数,该函数已目录名和文件名做为输入参数,返回一列要忽略的名称做为结果(此处用到字符串对象的.endswith方法,该方法用于获取文件类型):

def ignore_pyc_files(dirname, filenames):
    return [name for name in filenames if name.endswith('pyc')]
shutil.copytree(src, dst, ignore=ignore_pyc_files)

不过由于忽略文件名这种模式非常常见,已经有一个实用函数ignore_patterns()提供给我们使用了(相关模式使用方法类似.gitignore):

shutil.copytree(src, dst, ignore=shutil.ignore_patterns("*~", "*.pyc"))

注:此处的"*~"模式匹配是文本编辑器(如Vi)产生的以"~"结尾的中间文件。

忽略文件名还常常用在os.listdir()中。比如我们在数据密集型(如机器学习)应用中,需要遍历data目录下的所有数据集文件并加载,但是需要排除.开头的隐藏文件,如.git,否则会出错,此时可采用下列写法:

import os
import os
filenames = [filename for filename in os.listdir("Python-Lang/data") if not filename.startswith(".")] #注意,os.listdir返回的是不带路径的文件名

让我们回到copytree()。用copytree()来拷贝目录时,一个比较棘手的问题是错误处理。比如在拷贝的过程中遇到已经损坏的符号链接,或者由于权限问题导致有些文件无法访问等。对于这种情况,所有遇到的异常会收集到一个列表中并将其归组为一个单独的异常,在操作结束时抛出。示例如下:

import shutil
src = "Python-Lang/sub_dir"
dst = "Python-Lang/sub_dir2"
try:
    shutil.copytree(src, dst)
except shutil.Error as e:
    for src, dst, msg in e.args[0]:
        print(src, dst, msg)

如果提供了ignore_dangling_symlinks=True,那么copytree将会忽略悬垂的符号链接。

更多关于shutil的使用(如记录日志、文件权限等)可参见shutil文档[4]。

接下来我们看如何使用os.walk()函数遍历层级目录以搜索文件。只需要将顶层目录提供给它即可。比如下列函数用来查找一个特定的文件名,并将所有匹配结果的绝对路径打印出来:

import os
def findfile(start, name):
    for relpath, dirs, files in os.walk(start):
        if name in files:
            # print(relpath)
            full_path = os.path.abspath(os.path.join(relpath, name))
            print(full_path)
start = "."
name = "test.txt"
findfile(start, name)

可以看到,os.walk可为为我们遍历目录层级,且对于进入的每个目录层级它都返回一个三元组,包含:正在检视的目录的相对路径(相对脚本执行路径),正在检视的目录中包含的所有目录名列表,正在捡视的目录中包含的所有文件名列表。这里的os.path.abspath接受一个可能是相对的路径并将其组成绝对路径的形式。

我们还能够附加地让脚本完成更复杂的功能,如下面这个函数可打印出所有最近有修改过的文件:

import os
import time
def modified_within(start, seconds):
    now = time.time()
    for relpath, dirs, files in os.walk(start):
        for name in files:
            full_path = os.path.join(relpath, name)
            mtime = os.path.getmtime(full_path)
            if mtime &gt; (now - seconds):
                print(full_path)
start = "."
seconds = 60
modified_within(start, 60)

3. 创建和解包归档文件

如果仅仅是想创建或解包归档文件,可以直接使用shutil模块中的高层函数:

import shutil
shutil.make_archive(base_name="data", format="zip", root_dir="Python-Lang/data")
shutil.unpack_archive("data.zip")

其中第二个参数format为期望输出的格式。要获取所支持的归档格式列表,可以使用get_archive_formats()函数:

print(shutil.get_archive_formats())
# [('bztar', "bzip2'ed tar-file"), ('gztar', "gzip'ed tar-file"), ('tar', 'uncompressed tar file'), ('xztar', "xz'ed tar-file"), ('zip', 'ZIP file')]

Python也提供了诸如tarfilezipfilegzip等模块来处理归档格式的底层细节。比如我们想要创建然后解包.zip归档文件,可以这样写:

import zipfile
with zipfile.ZipFile('Python-Lang/data.zip', 'w') as zout:
    zout.write(filename='Python-Lang/data/test1.txt', arcname="test1.txt")
    zout.write(filename='Python-Lang/data/test2.txt', arcname="test2.txt")
with zipfile.ZipFile('Python-Lang/data.zip', 'r') as zin:
    zin.extractall('Python-Lang/data2') #没有则自动创建data2目录

参考

以上就是Python编写实用运维进程文件目录操作脚本示例的详细内容,更多关于python运维操作脚本的资料请关注我们其它相关文章!

(0)

相关推荐

  • 一篇文章搞定Python操作文件与目录

    前言 文件和目录操作是很常见的功能,这里做个简单的总结,包括注意事项和实际的实现代码,基本日常开发都够用了 目录操作 判断目录或是文件是否存在 os.path.exists(path) 判断是否是文件或是目录 # 如果文件或是目录不存在也会返回False os.path.isfile(path) os.path.isdir(path) 创建/删除目录 os.mkdir(path) os.rmdir(path) 得到当前的目录名称 os.path.split(dir_path)[1] 这个方法既简

  • python文件和目录操作函数小结

    python中对文件.文件夹(文件操作函数)的操作需要涉及到os模块和shutil模块. 得到当前工作目录,即当前Python脚本工作的目录路径: os.getcwd() 返回指定目录下的所有文件和目录名:os.listdir() 函数用来删除一个文件:os.remove() 删除多个目录:os.removedirs(r"c:\python") 检验给出的路径是否是一个文件:os.path.isfile() 检验给出的路径是否是一个目录:os.path.isdir() 判断是否是绝对路

  • Python文件和目录操作详解

    一.文件的打开和创建 1.打开 复制代码 代码如下: open(file,mode): >>>fo = open('test.txt', 'r') >>>fo.read() 'hello\n' >>>fo.close() file(file,mode): >>>f = file('test.txt', 'r') >>>f.read() 'hello\n' >>>f.close() mode可取值:

  • python对文件目录的操作方法实例总结

    本文实例讲述了python对文件目录的操作方法.分享给大家供大家参考,具体如下: python 可以很方便的对文件进行打开,读写操作,删除操作,也可以很方便的对文件夹进行遍历操作.总体说来,有如下几个方面: 1. python 遍历文件目录,当然可以递归 2. python 删除文件 3. python 对文件进行重命名操作 4. python 创建文件夹 (多个层级创建) 5. python 删除文件夹  (多个层级删除) 6. python 移动文件 7. python 查找文件 8. 得到

  • Python常用的文件及文件路径、目录操作方法汇总介绍

    python的文件和路径操作函数基本上位于os和os.path模块中. os.listdir(dirname):列出dirname下的目录和文件 os.path.isdir(name):判断name是不是一个目录,name不是目录就返回false os.path.isfile(name):判断name是不是一个文件,不存在name也返回false os.getcwd():获得当前工作目录 os.path.split(name):分割文件名与目录(事实上,如果你完全使用目录,它也会将最后一个目录

  • Python编写运维进程文件目录操作实用脚本示例

    目录 1. 执行外部程序或命令 2. 文件和目录操作(命名.删除.拷贝.移动等) 3. 创建和解包归档文件 参考 Python在很大程度上可以对shell脚本进行替代.笔者一般单行命令用shell,复杂点的多行操作就直接用Python了.这篇文章就归纳一下Python的一些实用脚本操作. 1. 执行外部程序或命令 我们有以下C语言程序cal.c(已编译为.out文件),该程序负责输入两个命令行参数并打印它们的和.该程序需要用Python去调用C语言程序并检查程序是否正常返回(正常返回会返回 0)

  • 利用python为运维人员写一个监控脚本

    前言: 一直想写一个监控方面的脚本,然后想到了运维这方面的,后来就写了个脚本,下面话不多说了,来一起看看详细的介绍吧. 准备: psutil模块(基本使用方法可以参考这篇文章:http://www.jb51.net/article/65044.htm) 正文: import os import time import re import smtplib from email.mime.text import MIMEText from email.header import Header imp

  • Python自动化运维之Ansible定义主机与组规则操作详解

    本文实例讲述了Python自动化运维之Ansible定义主机与组规则操作.分享给大家供大家参考,具体如下: 一 点睛 Ansible通过定义好的主机与组规则(Inventory)对匹配的目标主机进行远程操作,配置规则文件默认是/etc/ansible/hosts. 二 定义主机与组 所有定义的主机与组规则都在/etc/Ansible/hosts文件中,为ini文件格式,主机可以用域名.IP.别名进行标识,其中webservers.dbservers 为组名,紧跟着的主机为其成员.格式如下: ma

  • python自动化运维之Telnetlib的具体使用

    目录 前言: 1.导入telnetlib库可以直接使用. 2.配置服务器.用户名.密码,cmd命令等 3.功能函数 前言: 远程连接中兴设备(系统使用的中兴网卡)时使用的事Telnet连接,连接时设有二次验证,每次输入用户名密码和执行命令是个繁琐的过程,使用Python自带的telnetlib库可以编写脚本,实现批量登录服务器并执行命令查询数据量. 1.导入telnetlib库可以直接使用. from telnetlib import Telnet 2.配置服务器.用户名.密码,cmd命令等 #

  • Python自动化运维_文件内容差异对比分析

    模块:difflib 安装:Python版本大于等于2.3系统自带 功能:对比文本之间的差异,而且支持输出可读性比较强的HTML文档,与Linux中的diff命令比较相似. 两个字符串的差异对比: #import difflib #text1=''' #hello world. #how are you. #nice to meet you. #''' #text1_lines=text1.splitlines() # 以行进行分割,便于进行对比 #text2=''' #Hello World.

  • 使用python实现多维数据降维操作

    一,首先介绍下多维列表的降维 def flatten(a): for each in a: if not isinstance(each,list): yield each else: yield from flatten(each) if __name__ == "__main__": a = [[1,2],[3,[4,5]],6] print(list(flatten(a))) 二.这种降维方法同样适用于多维迭代器的降维 from collections import Iterab

  • 基于Python编写简易版的天天跑酷游戏的示例代码

    写出来的效果图就是这样了: 下面就更新一下全部的代码吧 还是老样子先定义 import pygame,sys import random 写一下游戏配置 width = 1200            #窗口宽度 height = 508            #窗口高度 size = width, height    score=None              #分数 myFont=myFont1=None     #字体 surObject=None          #障碍物图片   

  • python常用运维脚本实例小结

    一.ps 可以查看进程的内存占用大小,写一个脚本计算一下所有进程所占用内存大小的和. (提示,使用ps aux 列出所有进程,过滤出RSS那列,然后求和) 注:ps -ef 与 ps aux 效果一样使用随意 import os list = [] sum = 0 str1 = os.popen('ps aux','r').readlines() for i in str1: str2 = i.split() new_rss = str2[5] list.append(new_rss) for

  • Python自动化运维之IP地址处理模块详解

    实用的IP地址处理模块IPy 在IP地址规划中,涉及到计算大量的IP地址,包括网段.网络掩码.广播地址.子网数.IP类型等 别担心,Ipy模块拯救你.Ipy模块可以很好的辅助我们高效的完成IP的规划工作. 功能:辅助我们高效的完成IP的规划工作 安装: wget https://pypi.python.org/packages/source/I/IPy/IPy-0.81.tar.gz --no-check-certificate tar -zxvf Ipy-0.81.tar.gz cd IPy-

  • python 编写输出到csv的操作

    如下所示: def test_write(self): fields=[] fields.append(orderCode) with open(r'./test001.csv', 'a',newline="") as f: writer = csv.writer(f) writer.writerow(fields) 定义一个列表:然后将需要写的数据添加到列表 a #追加数据到下一行 newline='' //去除每一行中间的空行,若不加的话,行与行中间有空格 加newline 不加:

随机推荐