Python使用进程Process模块管理资源

进程Process是对各种资源管理的集合,包含对各种资源的调用、内存的管理、网络接口的调用;一个进程Process可以包含多个子进程,启动一个进程的时候会自动创建一个线程,进程里的第一个线程就是主线程(即python __name__ == ‘__main__');

进程Process模块

对于线程操作可以用threading模块,那么对于进程的创建python同样也提供了Process模块,创建进程时需要导入该模块,语法如下:

# 导入进程模块
from multiprocessing import Process
# 创建进程
p = Process(group=None, target=None, name=None, args=(), kwargs={})

参数介绍:

group — 参数未使用,默认值为None;

target — 表示调用对象,即子进程要执行的任务(函数名字);

args — 子进程对应函数的参数,并且类型是元组tuple;

kwargs — 子进程对应函数的参数,并且类型是字典dict,如kwargs = {‘name':Jack, ‘age':18};

name — 子进程名称;

返回值:返回进程实例对象;

三.进程Process函数介绍

其实进程Process的函数和线程threading类似,具体如下:

1.start() — 启动进程;

2.terminate() — 强制终止进程,不会进行任何清理操作。如果该进程终止前,创建了子进程,那么该子进程在其强制结束后变为僵尸进程;如果该进程还保存了一个锁那么也将不会被释放,进而导致死锁,使用时,要注意;

3.is_alive() — 判断某进程是否存活,存活返回True,否则False;

4.join([timeout]) — 主线程等待子线程终止。timeout为可选择超时时间;需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程 ;

5.daemon — 默认值为False,如果设置为True,代表该进程为后台守护进程;当该进程的父进程终止时,该进程也随之终止;并且设置为True后,该进程不能创建子进程,设置该属性必须在start()之前;

6.name — 进程名称;

7.pid— 进程ID标识,pid,值得注意的是:如果在start函数之前获取pid默认为None,因为进程还未创建,获取不到pid;

8.exitcode — 进程运行时为None,如果为-N,表示被信号N结束了;

9.authkey — 进程身份验证,默认是由os.urandom()随机生成32字符的字符串。这个键的用途是设计涉及网络连接的底层进程间的通信提供安全性,这类连接只有在具有相同身份验证才能成功;

进程Process使用

# !usr/bin/env python
# -*- coding:utf-8 _*-
"""
@Author:何以解忧
@Blog(个人博客地址): shuopython.com
@WeChat Official Account(微信公众号):猿说python
@Github:www.github.com

@File:python_process.py
@Time:2019/12/21 21:25

@Motto:不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
"""

from multiprocessing import Process

def people_info(*args,**kwargs):
  print(args,kwargs)

def main():

  # 信息列表
  list_info = [{"name":"zhangsan","height":"175cm"},
         {"name": "lisi", "height": "155cm"},
         {"name": "wangwu", "height": "195cm"},
         {"name": "liqi", "height": "166cm"},
         {"name": "wangba", "height": "125cm"},]

  # 创建进程
  for i in range(5):
    p = Process(target=people_info,args=(i,),kwargs=list_info[i])
    # 设置为守护进程,必须设置在start函数之前,否则会产生异常
    # 默认为False,即主进程会等待子进程结束之后才结束,
    # 如果设置为True,主进程结束之后所有的子进程自动结束,不管子进程是否已经执行完所有任务
    # p.daemon = True

    # 启动进程
    p.start()

    # 获取进程pid,如果在start函数之前获取pid,默认为None,因为进程还没启动
    print("进程process pid = ",p.pid)
    # 获取进程名字
    print("进程process name = ",p.name)
    # 获取进程pid
    print("进程process exitcode = ",p.exitcode)
if __name__ == "__main__":
  main()

输出结果:

进程process pid = 2600
进程process name = Process-1
进程process exitcode = None
进程process pid = 4372
进程process name = Process-2
进程process exitcode = None
进程process pid = 14124
进程process name = Process-3
进程process exitcode = None
进程process pid = 10920
进程process name = Process-4
进程process exitcode = None
进程process pid = 4892
进程process name = Process-5
进程process exitcode = None
(0,) {'name': 'zhangsan', 'height': '175cm'}
(1,) {'name': 'lisi', 'height': '155cm'}
(2,) {'name': 'wangwu', 'height': '195cm'}
(3,) {'name': 'liqi', 'height': '166cm'}
(4,) {'name': 'wangba', 'height': '125cm'}

小窍门:

Python 的 os 模块封装了常见的系统调用,其中就包括:

os.fork() 创建子进程
os.getpid() 获取自身 ID
os.getppid() 获取父进程 ID

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • Python multiprocess pool模块报错pickling error问题解决方法分析

    本文实例讲述了Python multiprocess pool模块报错pickling error问题解决方法.分享给大家供大家参考,具体如下: 问题 之前在调用class内的函数用multiprocessing模块的pool函数进行多线程处理的时候报了以下下错误信息: PicklingError: Can't pickle <type 'function'>: attribute lookup __builtin__.function failed 查了下官方文档发现python默认只能pi

  • Python进程Multiprocessing模块原理解析

    先看看下面的几个方法: star() 方法启动进程, join() 方法实现进程间的同步,等待所有进程退出. close() 用来阻止多余的进程涌入进程池 Pool 造成进程阻塞. 参数: target 是函数名字,需要调用的函数 args 函数需要的参数,以 tuple 的形式传入 用法: multiprocessing.Process(group=None, target=None, name=None, args=(), kwargs={}, *, daemon=None) 写一个的例子:

  • Python subprocess模块详细解读

    本文研究的主要是Python subprocess模块的相关内容,具体如下. 在学习这个模块前,我们先用Python的help()函数查看一下subprocess模块是干嘛的: DESCRIPTION This module allows you to spawn processes, connect to their input/output/error pipes, and obtain their return codes. 即允许你去创建一个新的进程让其执行另外的程序,并与它进行通信,获

  • python multiprocessing模块用法及原理介绍

    一 multiprocessing模块介绍 python中的多线程无法利用多核优势,如果想要充分地使用多核CPU的资源(os.cpu\_count\(\)查看),在python中大部分情况需要使用多进程. Python提供了multiprocessing. multiprocessing模块用来开启子进程,并在子进程中执行我们定制的任务(比如函数),该模块与多线程模块threading的编程接口类似. multiprocessing模块的功能众多:支持子进程.通信和共享数据.执行不同形式的同步,

  • python模块之subprocess模块级方法的使用

    subprocess.run() 运行并等待args参数指定的指令完成,返回CompletedProcess实例. 参数:(*popenargs, input=None, capture_output=False, timeout=None, check=False, **kwargs).除input, capture_output, timeout, check,其他参数与Popen构造器参数一致. capture_output:如果设置为True,表示重定向stdout和stderr到管道,

  • Python Subprocess模块原理及实例

    前言 其实有一个模块也支持执行系统命令,那个模块就是sys.system,但他执行系统命令会直接通过主进程去执行命令,那假如,该命令的执行需要耗费一个小时,那么主进程会卡一个小时,而不会去干别的事,这样就会导致程序的运行效率低下. 如果由subprocess去执行系统命令的时候并不会让主进程去执行,而是主进程会开辟出一个子进程去执行,并不会影响到主进程的运行,主进程该干嘛就干嘛,那么又有个问题,大家都知道进程之间的内存空间是独立的,也就是说进程之间是不能相互访问的,那么在subprocess中,

  • Python subprocess模块功能与常见用法实例详解

    本文实例讲述了Python subprocess模块功能与常见用法.分享给大家供大家参考,具体如下: 一.简介 subprocess最早在2.4版本引入.用来生成子进程,并可以通过管道连接他们的输入/输出/错误,以及获得他们的返回值. subprocess用来替换多个旧模块和函数: os.system os.spawn* os.popen* popen2.* commands.* 运行python的时候,我们都是在创建并运行一个进程,linux中一个进程可以fork一个子进程,并让这个子进程ex

  • Python subprocess模块学习总结

    一.subprocess以及常用的封装函数运行python的时候,我们都是在创建并运行一个进程.像Linux进程那样,一个进程可以fork一个子进程,并让这个子进程exec另外一个程序.在Python中,我们通过标准库中的subprocess包来fork一个子进程,并运行一个外部的程序.subprocess包中定义有数个创建子进程的函数,这些函数分别以不同的方式创建子进程,所以我们可以根据需要来从中选取一个使用.另外subprocess还提供了一些管理标准流(standard stream)和管

  • Python使用进程Process模块管理资源

    进程Process是对各种资源管理的集合,包含对各种资源的调用.内存的管理.网络接口的调用:一个进程Process可以包含多个子进程,启动一个进程的时候会自动创建一个线程,进程里的第一个线程就是主线程(即python __name__ == '__main__'): 进程Process模块 对于线程操作可以用threading模块,那么对于进程的创建python同样也提供了Process模块,创建进程时需要导入该模块,语法如下: # 导入进程模块 from multiprocessing imp

  • Python中的进程操作模块(multiprocess.process)

    目录 一.multiprocess模块 二.multiprocess.process模块 1.使用process模块创建进程 1 在Python中启动的第一个子进程 2. 查看主进程和子进程的进程号 3. 进阶,多个进程同时运行 4. 通过继承Process类开启进程 5. 进程之间的数据隔离问题 2.守护进程daemon 1. 守护进程的启动 2. 主进程代码执行结束守护进程立即结束 3.socket聊天并发实例 4.进程对象的其他方法:terminate和is_alive 5.进程对象的其他

  • Node.js进程管理之Process模块详解

    在前面Node.js事件运行机制也有提到,Node.js应用在单个线程运行,但是现在大部分服务器都是多处理器,为了方便使用多个进程,Node.js提供了3个模块.Process模块提供了访问正在运行的进程.child_process模块可以创建子进程,并与他们通信.cluster模块提供了实现共享相同端口的集群服务能力,允许多个请求同时处理. 一.Process模块 Process模块是一个无须使用require()就可以从node.js应用程序进行访问的全局对象. 二.进程I/O管道 Proc

  • 基于Python 的进程管理工具supervisor使用指南

    Supervisor 是基于 Python 的进程管理工具,只能运行在 Unix-Like 的系统上,也就是无法运行在 Windows 上.Supervisor 官方版目前只能运行在 Python 2.4 以上版本,但是还无法运行在 Python 3 上,不过已经有一个 Python 3 的移植版 supervisor-py3k. 什么情况下我们需要进程管理呢?就是执行一些需要以守护进程方式执行的程序,比如一个后台任务,我最常用的是用来启动和管理基于 Tornado 写的 Web 程序. 除此之

  • python process模块的使用简介

    process模块 process模块是一个创建进程的模块,借助这个模块,就可以完成进程的创建. 参数介绍: Process(group=None, target=None, name=None, args=(), kwargs={}) ​ 1 group--参数未使用,值始终为None 2 target--表示调用对象,即子进程要执行的任务 3 args--表示调用对象的位置参数元组,args=(1,2,'egon',) 4 kwargs--表示调用对象的字典,kwargs={'name':'

  • 详解python网络进程

    目录 一.多任务编程 二.进程 三.os.fork创建进程 3.1.进程ID和退出函数 四.孤儿和僵尸 4.1.孤儿进程 4.2.僵尸进程 4.3.如何避免僵尸进程的产生 五.Multiprocessing创建进程 5.1.multiprocessing进程属性 六.进程池 七.进程间通信(IPC) 7.1.管道通信(Pipe) 7.2.消息队列 7.3.共享内存 7.4.信号量(信号灯集) 一.多任务编程 意义:充分利用计算机的资源提高程序的运行效率 定义:通过应用程序利用计算机多个核心,达到

  • 详解python分布式进程

    在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机器上,而Thread最多只能分布到同一台机器的多个CPU上. Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上.一个服务进程可以作为调度者,将任务分布到其他多个进程中,依靠网络通信.由于managers模块封装很好,不必了解网络通信的细节,就可以很容易地编写分布式多进程程序. 举个例子:如果我们已经有一个通

  • Python分布式进程中你会遇到的问题解析

    小惊大怪 你是不是在用Python3或者在windows系统上编程?最重要的是你对进程和线程不是很清楚?那么恭喜你,在python分布式进程中,会有坑等着你去挖...(hahahaha,此处允许我吓唬一下你)开玩笑的啦,不过,如果你知道序列中不支持匿名函数,那这个坑就和你say byebye了.好了话不多数,直接进入正题. 分布式进程 正如大家所知道的Process比Thread更稳定,而且Process可以分布到多台机器上,而Thread最多只能分布到同一台机器的多个CPU上.Python的m

  • python threading和multiprocessing模块基本用法实例分析

    本文实例讲述了python threading和multiprocessing模块基本用法.分享给大家供大家参考,具体如下: 前言 这两天为了做一个小项目,研究了一下python的并发编程,所谓并发无非多线程和多进程,最初找到的是threading模块,因为印象中线程"轻量...","切换快...","可共享进程资源..."等等,但是没想到这里水很深,进而找到了更好的替代品multiprocessing模块.下面会讲一些使用中的经验. 后面出现的

  • 对python中的logger模块全面讲解

    logging模块介绍 Python的logging模块提供了通用的日志系统,熟练使用logging模块可以方便开发者开发第三方模块或者是自己的Python应用.同样这个模块提供不同的日志级别,并可以采用不同的方式记录日志,比如文件,HTTP.GET/POST,SMTP,Socket等,甚至可以自己实现具体的日志记录方式.下文我将主要介绍如何使用文件方式记录log. logging模块包括logger,handler,filter,formatter这四个基本概念. logging模块与log4

随机推荐