详解Python 模拟实现生产者消费者模式的实例

详解Python 模拟实现生产者消费者模式的实例

散仙使用python3.4模拟实现的一个生产者与消费者的例子,用到的知识有线程,队列,循环等,源码如下:

Python代码

import queue
import time
import threading
import random 

q=queue.Queue(5) 

#生产者
def pr():
  name=threading.current_thread().getName()
  print(name+"线程启动......")
  for i in range(100):
    t=random.randint(2,9)
    print(name,"睡眠时间: ",t)
    time.sleep(t);
    d="A"+str(i)
    print(name+"正在存第",i+1,"个数据: ",d)
    #q.put("A"+str(i),False,2000)
    q.put(d)
  print("生产完毕!") 

#消费者
def co():
  name=threading.current_thread().getName()
  time.sleep(1)
  print(name+"线程启动......") 

  while True:
    print(name+"检测到队列数量: ",q.qsize())
    t=random.randint(2,9)
    print(name,"睡眠时间: ",t)
    data=q.get();
    print(name+"消费一个数据: ",data) 

p=threading.Thread(target=pr,name="生产者")
c=threading.Thread(target=co,name="消费者1")
c2=threading.Thread(target=co,name="消费者2") 

p.start()
c.start()
c2.start()

在本例里面散仙启动了1个生产者线程,2个消费者线程,打印效果如下:

Python代码

生产者线程启动......
生产者 睡眠时间: 4
消费者1线程启动......
消费者1检测到队列数量: 0
消费者1 睡眠时间: 2
消费者2线程启动......
消费者2检测到队列数量: 0
消费者2 睡眠时间: 3
生产者正在存第 1 个数据: A0
生产者 睡眠时间: 9
消费者1消费一个数据: A0
消费者1检测到队列数量: 0
消费者1 睡眠时间: 8
生产者正在存第 2 个数据: A1
生产者 睡眠时间: 5
消费者2消费一个数据: A1
消费者2检测到队列数量: 0
消费者2 睡眠时间: 7
生产者正在存第 3 个数据: A2
生产者 睡眠时间: 8
消费者1消费一个数据: A2
消费者1检测到队列数量: 0
消费者1 睡眠时间: 2
生产者正在存第 4 个数据: A3
生产者 睡眠时间: 7
消费者2消费一个数据: A3
消费者2检测到队列数量: 0
消费者2 睡眠时间: 9
生产者正在存第 5 个数据: A4
生产者 睡眠时间: 2
消费者1消费一个数据: A4
消费者1检测到队列数量: 0
消费者1 睡眠时间: 5
生产者正在存第 6 个数据: A5
生产者 睡眠时间: 5
消费者2消费一个数据: A5
消费者2检测到队列数量: 0
消费者2 睡眠时间: 6
生产者正在存第 7 个数据: A6
生产者 睡眠时间: 7
消费者1消费一个数据: A6
消费者1检测到队列数量: 0
消费者1 睡眠时间: 7
生产者正在存第 8 个数据: A7
生产者 睡眠时间: 3
消费者2消费一个数据: A7
消费者2检测到队列数量: 0
消费者2 睡眠时间: 8
生产者正在存第 9 个数据: A8
生产者 睡眠时间: 2
消费者1消费一个数据: A8
消费者1检测到队列数量: 0
消费者1 睡眠时间: 4
生产者正在存第 10 个数据: A9
生产者 睡眠时间: 4
消费者2消费一个数据: A9
消费者2检测到队列数量: 0
消费者2 睡眠时间: 5
生产者正在存第 11 个数据: A10
生产者 睡眠时间: 2
消费者1消费一个数据: A10
消费者1检测到队列数量: 0
消费者1 睡眠时间: 3
生产者正在存第 12 个数据: A11
生产者 睡眠时间: 3
消费者2消费一个数据: A11
消费者2检测到队列数量: 0
消费者2 睡眠时间: 3
生产者正在存第 13 个数据: A12
生产者 睡眠时间: 3
消费者1消费一个数据: A12
消费者1检测到队列数量: 0
消费者1 睡眠时间: 3
生产者正在存第 14 个数据: A13
生产者 睡眠时间: 8
消费者2消费一个数据: A13
消费者2检测到队列数量: 0
消费者2 睡眠时间: 7
生产者正在存第 15 个数据: A14
生产者 睡眠时间: 3
消费者1消费一个数据: A14
消费者1检测到队列数量: 0
消费者1 睡眠时间: 7
生产者正在存第 16 个数据: A15
生产者 睡眠时间: 2
消费者2消费一个数据: A15
消费者2检测到队列数量: 0
消费者2 睡眠时间: 9

从这个例子中,我们发现利用队列,来做同步时非常简单方便的,除此之外队列,还有如下几个方便的方法:

介绍一下此包中的常用方法:

Queue.qsize() 返回队列的大小
Queue.empty() 如果队列为空,返回True,反之False
Queue.full() 如果队列满了,返回True,反之False
Queue.full 与 maxsize 大小对应
Queue.get([block[, timeout]])获取队列,timeout等待时间
Queue.get_nowait() 相当Queue.get(False)
非阻塞 Queue.put(item) 写入队列,timeout等待时间
Queue.put_nowait(item) 相当Queue.put(item, False)
Queue.task_done() 在完成一项工作之后,Queue.task_done()函数向任务已经完成的队列发送一个信号
Queue.join() 实际上意味着等到队列为空,再执行别的操作

以上就是详解Python 模拟实现生产者消费者模式的实例,如有疑问请留言或者到本站社区交流讨论,感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

(0)

相关推荐

  • Python自定义进程池实例分析【生产者、消费者模型问题】

    本文实例分析了Python自定义进程池.分享给大家供大家参考,具体如下: 代码说明一切: #encoding=utf-8 #author: walker #date: 2014-05-21 #function: 自定义进程池遍历目录下文件 from multiprocessing import Process, Queue, Lock import time, os #消费者 class Consumer(Process): def __init__(self, queue, ioLock):

  • python条件变量之生产者与消费者操作实例分析

    本文实例讲述了python条件变量之生产者与消费者操作.分享给大家供大家参考,具体如下: 互斥锁是最简单的线程同步机制,面对复杂线程同步问题,Python还提供了Condition对象.Condition被称为条件变量,除了提供与Lock类似的acquire和release方法外,还提供了wait和notify方法.线程首先acquire一个条件变量,然后判断一些条件.如果条件不满足则wait:如果条件满足,进行一些处理改变条件后,通过notify方法通知其他线程,其他处于wait状态的线程接到

  • 理解生产者消费者模型及在Python编程中的运用实例

    什么是生产者消费者模型 在 工作中,大家可能会碰到这样一种情况:某个模块负责产生数据,这些数据由另一个模块来负责处理(此处的模块是广义的,可以是类.函数.线程.进程等).产 生数据的模块,就形象地称为生产者:而处理数据的模块,就称为消费者.在生产者与消费者之间在加个缓冲区,我们形象的称之为仓库,生产者负责往仓库了进商 品,而消费者负责从仓库里拿商品,这就构成了生产者消费者模型.结构图如下: 生产者消费者模型的优点: 1.解耦 假设生产者和消费者分别是两个类.如果让生产者直接调用消费者的某个方法,

  • 详解Python 模拟实现生产者消费者模式的实例

    详解Python 模拟实现生产者消费者模式的实例 散仙使用python3.4模拟实现的一个生产者与消费者的例子,用到的知识有线程,队列,循环等,源码如下: Python代码 import queue import time import threading import random q=queue.Queue(5) #生产者 def pr(): name=threading.current_thread().getName() print(name+"线程启动......") for

  • Python教程之生产者消费者模式解析

    为什么使用生产者消费者模式 在线程世界里,生产者就是生产数据的线程,消费者就是消费数据的线程.在多线程开发中,如果生产者处理速度很快,而消费者处理速度很慢,那么生产者就必须等待消费者处理完才能继续生产数据.同样的道理,如果消费者的处理能力大于生产者,那么消费者就必须等待生产者.为了解决这个问题引入了生产者和消费者模式. 什么是生产者消费者模式 生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题.生产者和消费者彼此之间不直接通讯,而通过阻塞队列来进行通讯,所以生产者生产完数据之后不用通

  • 详解python 条件语句和while循环的实例代码

    02条件语句和while循环 三目运算 a = 6 #原判断语句 if a > 5: print(True) else: print(False) #三目运算 print(True if a >5 else False) 逻辑运算 1. 三种逻辑运算 与逻辑 and 两边为真则为真 或逻辑 or 一边为真则为真 非逻辑 not 逻辑值取反 优先级: not > and > or 2.逻辑短路 # and 逻辑短路 a = 3 #没有对b赋值,但程序不会报错能够正常运行 #左边布尔值

  • 详解python 模拟豆瓣登录(豆瓣6.0)

    最近在学习python爬虫,看到网上有很多关于模拟豆瓣登录的例子,随意找了一个试了下,发现不能运行,对比了一下代码和豆瓣网站,发现原来是豆瓣网站做了修改,增加了反爬措施. 首先看下要模拟登录的网站: 打开开发者模式: 在账号和密码随意填入数据: 发现会发送一个post请求: ur是:https://accounts.douban.com/j/mobile/login/basic 数据格式是: 于是可以来编写代码: import requests def main(): url_basic = '

  • 详解python中各种文件打开模式

    在python中,总的来说有三种大的模式打开文件,分别是:a, w, r 当以a模式打开时,只能写文件,而且是在文件末尾添加内容. 当以a+模式打开时,可以写文件,也可读文件,可是在读文件的时候,会发现读出来的数据为空,是因为a+模式是在文件末尾添加内容,所以其指针已经指到了文件末尾,所以读出来的数据就是空的. # 在文件末尾添加数据 f = open('test.txt','a+') f.write('test') f.close() # 读出数据为空 f = open('test.txt',

  • 基于Java 生产者消费者模式(详细分析)

    生产者消费者模式是多线程中最为常见的模式:生产者线程(一个或多个)生成面包放进篮子里(集合或数组),同时,消费者线程(一个或多个)从篮子里(集合或数组)取出面包消耗.虽然它们任务不同,但处理的资源是相同的,这体现的是一种线程间通信方式. 本文将先说明单生产者单消费者的情况,之后再说明多生产者多消费者模式的情况.还会分别使用wait()/nofity()/nofityAll()机制.lock()/unlock()机制实现这两种模式. 在开始介绍模式之前,先解释下wait().notify()和no

  • 详解Python自建logging模块

    简单使用 最开始,我们用最短的代码体验一下logging的基本功能. import logging logger = logging.getLogger() logging.basicConfig() logger.setLevel('DEBUG') logger.debug('logsomething') #输出 out>>DEBG:root:logsomething 第一步,通过logging.getLogger函数,获取一个loger对象,但这个对象暂时是无法使用的. 第二步,loggi

  • Java多线程之线程通信生产者消费者模式及等待唤醒机制代码详解

    前言 前面的例子都是多个线程在做相同的操作,比如4个线程都对共享数据做tickets–操作.大多情况下,程序中需要不同的线程做不同的事,比如一个线程对共享变量做tickets++操作,另一个线程对共享变量做tickets–操作,这就是大名鼎鼎的生产者和消费者模式. 正文 一,生产者-消费者模式也是多线程 生产者和消费者模式也是多线程的范例.所以其编程需要遵循多线程的规矩. 首先,既然是多线程,就必然要使用同步.上回说到,synchronized关键字在修饰函数的时候,使用的是"this"

  • java wait()/notify() 实现生产者消费者模式详解

    java wait()/notify() 实现生产者消费者模式 java中的多线程会涉及到线程间通信,常见的线程通信方式,例如共享变量.管道流等,这里我们要实现生产者消费者模式,也需要涉及到线程通信,不过这里我们用到了java中的wait().notify()方法: wait():进入临界区的线程在运行到一部分后,发现进行后面的任务所需的资源还没有准备充分,所以调用wait()方法,让线程阻塞,等待资源,同时释放临界区的锁,此时线程的状态也从RUNNABLE状态变为WAITING状态: noti

  • Java多线程之生产者消费者模式详解

    目录 1.生产者消费者模型 2.实现生产者消费者模型 3.生产者消费者模型的作用是什么? 总结 问题: 1.什么是阻塞队列?如何使用阻塞队列来实现生产者-消费者模型? 2. 生产者消费者模型的作用是什么? 1. 生产者消费者模型 在生产者-消费者模式中,通常有两类线程,即生产者线程(若干个)和消费者线程(若干个).生产者线程向消息队列加入数据,消费者线程则从消息队列消耗数据.生产者和消费者.消息队列之间的关系结构图如图: (1) 消息队列可以用来平衡生产和消费的线程资源: (2) 生产者仅负责产

随机推荐