python 使用多线程创建一个Buffer缓存器的实现思路

这几天学习人脸识别的时候，虽然运行的没有问题，但我却意识到了一个问题

在图片进行传输的时候，GPU的利用率为0

也就是说，图片的传输速度和GPU的处理速度不能很好衔接

于是，我打算利用多线程开发一个buffer缓存

实现的思路如下

定义一个Buffer类，再其构造函数中创建一个buffer空间（这里最好使用list类型）

我们还需要的定义线程锁LOCK（数据传输和提取的时候会用到）

因为需要两种方法（读数据和取数据），所以我们需要定义两个锁

实现的代码如下：

#-*-coding:utf-8-*-
import threading 

class Buffer:

  def __init__(self,size):
    self.size = size
    self.buffer = []
    self.lock = threading.Lock()
    self.has_data = threading.Condition(self.lock) # small sock depand on big sock
    self.has_pos = threading.Condition(self.lock)
  def get_size(self):
    return self.size
  def get(self):
    with self.has_data:
      while len(self.buffer) == 0:
        print("I can't go out has_data")
        self.has_data.wait()
        print("I can go out has_data")
      result = self.buffer[0]
      del self.buffer[0]
      self.has_pos.notify_all()
    return result
  def put(self, data):
    with self.has_pos:
      #print(self.count)
      while len(self.buffer)>=self.size:
        print("I can't go out has_pos")
        self.has_pos.wait()
        print("I can go out has_pos")
      # If the length of data bigger than buffer's will wait
      self.buffer.append(data)
      # some thread is wait data ,so data need release
      self.has_data.notify_all()

if __name__ == "__main__":
	buffer = Buffer(3)
	def get():
	  for _ in range(10000):
	    print(buffer.get())

	def put():
	  a = [[1,2,3,4,5,6,7,8,9],[1,2,3,4,5,6,7,8,9],[1,2,3,4,5,6,7,8,9]]
	  for _ in range(10000):
	    buffer.put(a)
  th1 = threading.Thread(target=put)
  th2 = threading.Thread(target=get)
  th1.start()
  th2.start()
  th1.join()
  th2.join()

总结

到此这篇关于python 使用多线程创建一个Buffer缓存器的文章就介绍到这了,更多相关python 多线程Buffer缓存器内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • Python sorted对list和dict排序

    sorted语法 sorted(iterable, key=None, reverse=False) 参数说明: - iterable -- 可迭代对象.  - key --主要是用来进行比较的元素,只有一个参数,具体的函数的参数就是取自于可迭代对象中,指定可迭代对象中的一个元素来进行排序.  - reverse -- 排序规则,reverse = True 降序 , reverse = False 升序(默认). 返回:  - 一个新list对象 sorted对字典dict排序 ①按键key排

  • 详解Python多线程下的list

    list 是 Python 常用的几个基本数据类型之一.正常情况下我们会对 list 有增删改查的操作,显然易见不会有任何问题.那么如果我们试着在多线程下操作list 会有问题吗? 多线程下的 list 安全 or 不安全? 不安全! 通常我们说的线程安全是指针对某个数据结构的所有操作都是线程安全,在这种定义下,Python 常用的数据结构 list,dict,str 等都是线程不安全的 尽管多线程下的 list 是线程不安全的,但是在 append 的操作下是它又是线程安全的. 如何判断线程安

  • python如何把字符串类型list转换成list

    这篇文章主要介绍了python如何吧字符串类型list转换成list,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 python读取了一个list是字符串形式的'[11.23,23.34]',想转换成list类型: 方式一: import ast str_list = "[11.23,23.34]" list_list = ast.literal_eval(str_list) print(type(list_list)) 得到结果为:

  • 深入了解python列表（LIST）

    Python 内置的四种常用数据结构:列表(list).元组(tuple).字典(dict)以及集合(set). 这四种数据结构一但都可用于保存多个数据项,这对于编程而言是非常重要的,因为程序不仅需要使用单个变量来保存数据,还需要使用多种数据结构来保存大量数据,而列表.元组.字典和集合就可满足保存大量数据的需求. 列表(list)和元组(tuple)比较相似,它们都按顺序保存元素,每个元素都有自己的索引,因此列表和元组都可通过索引访问元素.二者的区别在于元组是不可修改的,但列表是可修改的. 字典

  • 在python中list作函数形参,防止被实参修改的实现方法

    0.摘要 我们将一个list传入函数后,函数内部对实参修改后,形参也会随之改变.本文将主要介绍这种错误的现象.原因和解决方法. 1.代码示例 def fun(inner_lst): inner_lst.pop() lst = [1,2,3,4,5,6,7] fun(lst) print(lst) fun(lst) print(lst) fun(lst) print(lst) fun(lst) print(lst) fun(lst) print(lst) 从运行结果上,可以看出, 虽然我们改变的是

  • Python多线程threading创建及使用方法解析

    一.线程创建方法 1. 普通创建 import threading def run(name): for i in range(3): print(name) if __name__ == '__main__': t1 = threading.Thread(target=run, args=("t1",)) t2 = threading.Thread(target=run, args=("t2",)) t1.start() t2.start() ----------

  • python 解决mysql where in 对列表(list,,array)问题

    例如有这么一个查询语句: select * from server where ip in (....) 同时一个存放ip 的列表 :['1.1.1.1','2.2.2.2','2.2.2.2'] 我们希望在查询语句的in中放入这个Ip列表,这里我们首先会想到的是用join来对这个列表处理成一个字符串,如下: >>> a=['1.1.1.1','2.2.2.2','2.2.2.2'] >>> ','.join(a) '1.1.1.1,2.2.2.2,2.2.2.2' 可

  • 深入理解Python 多线程

    Python里的多线程是假的多线程,不管有多少核,同一时间只能在一个核中进行操作!利用Python的多线程,只是利用CPU上下文切换的优势,看上去像是并发,其实只是个单线程,所以说他是假的单线程. 那么什么时候用多线程呢? 首先要知道: io操作不占用CPU 计算操作占CPU,像2+5=5 Python的多线程不适合CPU密集操作型的任务,适合io密集操作型的任务,例如:SocketServer 如果现在再有CPU密集操作型的任务,那该怎么办呢? 首先说,多进程的进程之间是独立的,然后注意了,p

  • python 使用多线程创建一个Buffer缓存器的实现思路

    这几天学习人脸识别的时候,虽然运行的没有问题,但我却意识到了一个问题 在图片进行传输的时候,GPU的利用率为0 也就是说,图片的传输速度和GPU的处理速度不能很好衔接 于是,我打算利用多线程开发一个buffer缓存 实现的思路如下 定义一个Buffer类,再其构造函数中创建一个buffer空间(这里最好使用list类型) 我们还需要的定义线程锁LOCK(数据传输和提取的时候会用到) 因为需要两种方法(读数据和取数据),所以我们需要定义两个锁 实现的代码如下: #-*-coding:utf-8-*

  • Python创建一个自定义视频播放器的实现

    这个例子使用VLC作为视频播放器,并且使用tkinter创建了一个简单的GUI界面,其中包括一个Canvas用于播放视频,几个按钮用于控制视频播放,以及一个滑动条用于控制音量.你可以根据自己的需求修改GUI界面的布局和功能. 1.安装vlc的64位版本. https://vlc.letterboxdelivery.org/vlc/3.0.18/win64/vlc-3.0.18-win64.exe 2.安装python的vlc模块. pip install vlc 3.编写如下代码,包含了播放,暂

  • 使用Python和Scribus创建一个RGB立方体的方法

    使用 Scribus 的 Python 脚本编写器功能,开发一个显示 RGB 色谱的 3D 立方体. 当我决定这个夏天要玩色彩游戏时,我想到通常色彩都是在色轮上描绘的.这些色彩通常都是使用色素而不是光,并且你失去了任何对颜色亮度或光度变化的感觉. 作为色轮的替代,我想在立方体表面使用一系列图形来显示 RGB 频谱.色彩的 RGB 值将在具有 X.Y.Z 轴的三维图形上展示.例如,一个平面将会保持 B(蓝色)为 0,其余的坐标轴将显示当我将 R(红色)和 G (绿色)的值从 0 绘制到 255 时

  • jquery创建一个ajax关键词数据搜索实现思路

    jquery创建一个ajax关键词数据搜索实现思路

    在web开发过程当中,我们经常需要在前台页面输入关键词进行数据的搜索,我们通常使用的搜索方式是将搜索结果用另一个页面显示,这样的方式对于搭建高性能网站来说不是最合适的,今天给大家分享一下如何使用 jQuery,MySQL 和 Ajax创建简单和有吸引力的 Ajax 搜索,这是继<使用jQuery打造一个实用的数据传输模态弹出窗体>第二篇jquery项目实际运用的教程,希望大家在开发项目的时候能够根据自己的实际情况灵活运用 点击搜索默认显示所有的结果 输入A之后显示的搜索结果 输入 p之后显示的

  • python使用Pycharm创建一个Django项目

    本文为Django项目创建的简单介绍,更为详细的Django项目创建,可以参考如下教程: Django入门与实践-//www.jb51.net/article/64109.htm Pycharm 版本: Professional 2017.1 Django 版本: 1.8.7 在软件安装和环境配置完成后,打开Pycharm. Step 1. 点击 File --> New Project 弹出如下窗口: 图中编号1处为项目位置:编号2处为使用的模板语言类型,默认为Django模板语言:编号3处是

  • python中创建一个包并引用使用的操作方法

    python中创建一个包并引用使用的操作方法

    一.Python包 python包在开发中十分常见,一般通过导入包含特定功能的python模块包进行使用.当然,也可以自己创建打包模块,然后发布,安装使用. 1.安装包 在线安装包:pip install 包名:安装第三方包:python setup.py  install (几乎每个python第三方包中都有这个setup.py文件,这个文件是作者打包时设置的文件,而安装第三方包时,也是要先进入到setup.py文件所在目录,然后执行python setup.py install) 2.dis

  • 浅谈Python从全局与局部变量到装饰器的相关知识

    全局变量与局部变量 # num1是全局变量 num1 = 1 # num2是局部变量 def func(): num2 = 2 在函数外(且不在函数里)定义的变量是全局变量: 在函数里定义的变量是局部变量. 在函数外无法引用局部变量,但在函数里面可以引用全局变量,不过需要注意的是,一般函数里不能修改全局变量,如果在函数里修改全局变量,那么python会自动创建一个与之名字相同的变量,使用global关键字可以将局部变量变为全局变量,进而修改. # 这是全局变量 num1 = 1 # 函数里的nu

  • 轻松学习jQuery插件EasyUI EasyUI创建RSS Feed阅读器

    轻松学习jQuery插件EasyUI EasyUI创建RSS Feed阅读器

    本文实例讲述了通过 jQuery EasyUI框架创建一个RSS阅读器,分享给大家供大家参考.具体如下: 运行效果截图如下: 我们将使用以下插件: layout:创建应用的用户界面. datagrid:显示 RSS Feed 列表. tree:显示 feed 频道. 步骤 1:创建布局(Layout) <body class="easyui-layout"> <div region="north" border="false"

  • C++实现LeetCode(146.近最少使用页面置换缓存器)

    [LeetCode] 146. LRU Cache 最近最少使用页面置换缓存器 Design and implement a data structure for Least Recently Used (LRU) cache. It should support the following operations: get and put. get(key) - Get the value (will always be positive) of the key if the key exist

  • Python 如何手动编写一个自己的LRU缓存装饰器的方法实现

    LRU缓存算法,指的是近期最少使用算法,大体逻辑就是淘汰最长时间没有用的那个缓存,这里我们使用有序字典,来实现自己的LRU缓存算法,并将其包装成一个装饰器. 1.首先创建一个my_cache.py文件 编写自己我们自己的LRU缓存算法,代码如下: import time from collections import OrderedDict ''' 基于LRU,近期最少用缓存算法写的装饰器. ''' class LRUCacheDict: def __init__(self, max_size=

随机推荐