Python 从subprocess运行的子进程中实时获取输出的例子

有些时候，我们需要将某些程序放到子进程中去运行，以达到整合系统的目的。在Python中，一个非常好的选择就是使用subprocess模块，本模块为开辟子进程去执行子程序提供了统一的接口，更加便于学习和使用。

同时，对于在子进程里的程序，我们希望能够实时获取其输出，以在主进程中打印相关信息，使我们能够了解当前子程序的执行进度。对此，subprocess模块也提供了相应的参数，能够将子程序的标准输出和标准错误输出返回给主程序。

下面，我们就通过一个例子来说明这个功能。首先，我们需要一个用于模拟标准输出和标准错误输出的“子程序”——subprogram.py：

import sys
import time

for i in range(5):
  sys.stdout.write('Processing {}\n'.format(i))
  time.sleep(1)

for i in range(5):
  sys.stderr.write('Error {}\n'.format(i))
  time.sleep(1)

可以看到这个程序非常简单，分别向标准输出和标准错误写入了5条信息，并且输出之间有1秒的间隔。下面是驱动这个“子程序”运行的“主程序”——main.py：

import shlex
import subprocess

if __name__ == '__main__':
  shell_cmd = 'python3 subprogram.py'
  cmd = shlex.split(shell_cmd)
  p = subprocess.Popen(cmd, shell=False, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
  while p.poll() is None:
    line = p.stdout.readline()
    line = line.strip()
    if line:
      print('Subprogram output: [{}]'.format(line))
  if p.returncode == 0:
    print('Subprogram success')
  else:
    print('Subprogram failed')

可以看到，我们通过指定stderr=subprocess.STDOUT，将子程序的标准错误输出重定向到了标准输出，以使我们可以直接从标准输出中同时获取标准输出和标准错误的信息。运行这个程序，我们会期待main.py会每秒输出一次信息到控制台，但是事实上，我们直到等了10秒之后才一次性看到所有的10条输出。

产生这种现象的原因也非常简单，就是标准输出和标准错误有一个缓存的概念，它不会立即将程序的标准输出内容返回，而是会做一定的缓存，直到缓存满或者程序结束强制清空缓存时才输出。了解到问题的原因，解决问题的方法也就一目了然了，我们只需要在子程序中，每次输出后去手动清空一下缓存即可，以下是修改过的subprogram.py：

import sys
import time

for i in range(5):
  sys.stdout.write('Processing {}\n'.format(i))
  sys.stdout.flush()
  time.sleep(1)

for i in range(5):
  sys.stderr.write('Error {}\n'.format(i))
  sys.stderr.flush()
  time.sleep(1)

经过上述的修改之后，再次运行main.py程序，我们会看到，每秒会输出一条信息，达到了我们在主程序中，去追踪子程序执行过程的目的。

PS：测试环境是Python3.6.1 Mac版。

以上这篇Python 从subprocess运行的子进程中实时获取输出的例子就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • Python 创建子进程模块subprocess详解

    最近,我们老大要我写一个守护者程序,对服务器进程进行守护.如果服务器不幸挂掉了,守护者能即时的重启应用程序.上网Google了一下,发现Python有很几个模块都可以创建进程.最终我选择使用subprocess模块,因为在Python手册中有这样一段话: This module intends to replace several other, older modules and functions, such as: os.system.os.spawn*.os.popen*.popen2.*

  • 实时获取Python的print输出流方法

    我的应用场景是:使用shell执行python文件,并且通过调用的返回值获取python的标准输出流. shell程序如下: cmd='python '$1' '$2' '$3' '$5' '$4 RESULT=eval $cmd echo $RESULT 之前我的写的python程序如下: # coding: utf-8 import time import json def execute(_database, _parameter): print 'sleep start' sleepTi

  • Python标准库06之子进程 (subprocess包) 详解

    这里的内容以Linux进程基础和Linux文本流为基础.subprocess包主要功能是执行外部的命令和程序.比如说,我需要使用wget下载文件.我在Python中调用wget程序.从这个意义上来说,subprocess的功能与shell类似. subprocess以及常用的封装函数 当我们运行python的时候,我们都是在创建并运行一个进程.正如我们在Linux进程基础中介绍的那样,一个进程可以fork一个子进程,并让这个子进程exec另外一个程序.在Python中,我们通过标准库中的subp

  • Python subprocess模块详细解读

    Python subprocess模块详细解读

    本文研究的主要是Python subprocess模块的相关内容,具体如下. 在学习这个模块前,我们先用Python的help()函数查看一下subprocess模块是干嘛的: DESCRIPTION This module allows you to spawn processes, connect to their input/output/error pipes, and obtain their return codes. 即允许你去创建一个新的进程让其执行另外的程序,并与它进行通信,获

  • python实时获取外部程序输出结果的方法

    如下所示: s=subprocess.Popen("ping baidu.com -t",bufsize=0,stdout=subprocess.PIPE,universal_newlines=True) while True: nextline=s.stdout.readline() print(nextline.strip()) if nextline=="" and scan.poll()!=None: break 以上这篇python实时获取外部程序输出结果

  • Python subprocess模块学习总结

    一.subprocess以及常用的封装函数运行python的时候,我们都是在创建并运行一个进程.像Linux进程那样,一个进程可以fork一个子进程,并让这个子进程exec另外一个程序.在Python中,我们通过标准库中的subprocess包来fork一个子进程,并运行一个外部的程序.subprocess包中定义有数个创建子进程的函数,这些函数分别以不同的方式创建子进程,所以我们可以根据需要来从中选取一个使用.另外subprocess还提供了一些管理标准流(standard stream)和管

  • Python 从subprocess运行的子进程中实时获取输出的例子

    有些时候,我们需要将某些程序放到子进程中去运行,以达到整合系统的目的.在Python中,一个非常好的选择就是使用subprocess模块,本模块为开辟子进程去执行子程序提供了统一的接口,更加便于学习和使用. 同时,对于在子进程里的程序,我们希望能够实时获取其输出,以在主进程中打印相关信息,使我们能够了解当前子程序的执行进度.对此,subprocess模块也提供了相应的参数,能够将子程序的标准输出和标准错误输出返回给主程序. 下面,我们就通过一个例子来说明这个功能.首先,我们需要一个用于模拟标准输

  • Android中实时获取音量分贝值详解

    Android中实时获取音量分贝值详解

    基础知识 度量声音强度,大家最熟悉的单位就是分贝(decibel,缩写为dB).这是一个无纲量的相对单位,计算公式如下: 分子是测量值的声压,分母是参考值的声压(20微帕,人类所能听到的最小声压).因此日常中说道声音强度是多少多少分贝时,都是默认了一个很小的参考值的. 而Android设备传感器可以提供的物理量是场的幅值(amplitude),常用下列公式计算分贝值: 从SDK中读取了某段音频数据的振幅后,取最大振幅或平均振幅(可以用平方和平均,或绝对值的和平均),代入上述公式的A1. 现在问题

  • Python使用shutil操作文件、subprocess运行子程序

    一.shutil模块(了解):高级的文件.文件夹.压缩包处理模块. import shutil # shutil.copyfileobj(fsrc, fdst[, length]),将文件内容拷贝到另一个文件中 shutil.copyfileobj(open('old.xml', 'r'), open('new.xml', 'w')) # shutil.copyfile(src, dst),拷贝文件 shutil.copyfile('f1.log', 'f2.log') # 目标文件无需存在 #

  • python实现在每个独立进程中运行一个函数的方法

    本文实例讲述了python实现在每个独立进程中运行一个函数的方法.分享给大家供大家参考.具体分析如下: 这个简单的函数可以同于在单独的进程中运行另外一个函数,这对于释放内存资源非常有用 #!/usr/bin/env python from __future__ import with_statement import os, cPickle def run_in_separate_process(func, *args, **kwds): pread, pwrite = os.pipe() pi

  • Python的subprocess模块总结

    subprocess意在替代其他几个老的模块或者函数,比如:os.system os.spawn* os.popen* popen2.* commands.* subprocess最简单的用法就是调用shell命令了,另外也可以调用程序,并且可以通过stdout,stdin和stderr进行交互. subprocess的主类 复制代码 代码如下: subprocess.Popen(       args,       bufsize=0,       executable=None,      

  • Python实现subprocess执行外部命令

    Python实现subprocess执行外部命令

    一.Python执行外部命令 1.subprocess模块简介 subprocess 模块允许我们启动一个新进程,并连接到它们的输入/输出/错误管道,从而获取返回值. 这个模块用来创建和管理子进程.它提供了高层次的接口,用来替换os.system*(). os.spawn*(). os.popen*().os,popen2.*()和commands.*等模块和函数. subprocess提供了一个名为Popen的类启动和设置子进程的参数,由于这个类比较复杂, subprocess还提供了若干便利

  • Python 实时获取任务请求对应的Nginx日志的方法

    需求描述 项目需求测试过程中,需要向Nginx服务器发送一些用例请求,然后查看对应的Nginx日志,判断是否存在特征内容,来判断任务是否执行成功.为了提升效率,需要将这一过程实现自动化. 实践环境 Python 3.6.5 代码设计与实现 #!/usr/bin/env python # -*- coding:utf-8 -*- ''' @CreateTime: 2021/06/26 9:05 @Author : shouke ''' import time import threading im

  • Python脚本后台运行的几种方式

    一个用python写的监控脚本test1.py,用while True方式一直运行,在ssh远程(使用putty终端)时通过以下命令启动脚本: 复制代码 代码如下: python test1.py & 现在脚本正常运行,通过ps能看到进程号,此时直接关闭ssh终端(不是用exit命令,是直接通过putty的关闭按钮执行的), 再次登录后发现进程已经退出了. 通过后台启动的方式该问题已经解决,这里总结下,也方便我以后查阅. linux 下后台运行 通过fork实现 linux环境下,在c中守护进程

  • Python 运行 shell 获取输出结果的实例

    首先使用内置模块os. >>> import os >>> code = os.system("pwd && sleep 2") # /User/zhipeng >>> print code # 0 问题是 os.system 只能获取到结束状态 使用内置模块 subprocess >>> import subprocess >>> subprocess.Popen("p

随机推荐