pytorch多进程加速及代码优化方法

目标：优化代码，利用多进程，进行近实时预处理、网络预测及后处理：

本人尝试了pytorch的multiprocessing，进行多进程同步处理以上任务。

from torch.multiprocessing import Pool,Manager

为了进行各进程间的通信，使用Queue，作为数据传输载体。

  manager = Manager()
  input_queue = manager.Queue()
  output_queue = manager.Queue()

  show_queue = manager.Queue()

即将预处理进程处理后的图像放进 input_queue，而网络预测进程实时获取 input_queue队列中的数据，一旦放入，就从中取出，输入网络：

while 1：

  input = input_queue.get()

同理，将网络输出放入output_queue，再由后处理进程实时获取并进行后处理，处理后，放入show_queue

从而实现了多进程同步进行预处理、网络预测及后处理，加速了网络实时预测的表现。

问题及解决方案：

1. pytorch cuda报错，re-initialization报错问题：

习惯了在一开始将模型先加载进来放入gpu中，所以模型在主线程就完成了初始化，但是调用网络是在网络预测子进程进行的，就会导致跨进程重复初始化失败。

解决方案：

直接在子进程开始时初始化，其他进程可以设置个延时，等网络初始化好后再开始运行。

同理，数据输入网络也是同样的在子进程进行。

2. python3多进程编程，子进程不报错问题：

一开始总是代码运行起来什么都不出现，就开始各种debug，但因为python3中子进程不报错，出错了就卡在那里，就每次自己找bug很麻烦，所以就急需子进程的报错信息。

解决方案：

用try except组合，来打印子进程中某段程序错误，如下：

      try:
        out = forward(input_img,model,1)
      except Exception as error:
        print(error)

3.进程完全不运行时，考虑是否是输入设置的问题，即当单变量输入时，后面要加都好，如：

pool.apply_async(load_frame,args=(input_queue,))

如果是pool.apply_async(load_frame,args=(input_queue))则该进程不会启动运行。

4. 一开始想优化cv2.resize，想用gpu下的tensor的resize_代替，但发现这种方式和numpy.resize一脉相承啊，根本不是我们想要的resize，如果是变大的话，这种resize会直接按顺序填，然后剩下的就填0，实在是太草率了。。。

解决方案：还没有很好的替代方案，只找了一下，cuda::resize，但是好像貌似没有python接口，要是混合编程好像有点小题大做，得不偿失了。如果各位有较好的方案，欢迎指点迷津。

以上这篇pytorch多进程加速及代码优化方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • 详解PyTorch批训练及优化器比较

    详解PyTorch批训练及优化器比较

    一.PyTorch批训练 1. 概述 PyTorch提供了一种将数据包装起来进行批训练的工具--DataLoader.使用的时候,只需要将我们的数据首先转换为torch的tensor形式,再转换成torch可以识别的Dataset格式,然后将Dataset放入DataLoader中就可以啦. import torch import torch.utils.data as Data torch.manual_seed(1) # 设定随机数种子 BATCH_SIZE = 5 x = torch.li

  • pytorch多进程加速及代码优化方法

    目标:优化代码,利用多进程,进行近实时预处理.网络预测及后处理: 本人尝试了pytorch的multiprocessing,进行多进程同步处理以上任务. from torch.multiprocessing import Pool,Manager 为了进行各进程间的通信,使用Queue,作为数据传输载体. manager = Manager() input_queue = manager.Queue() output_queue = manager.Queue() show_queue = ma

  • MySQL使用临时表加速查询的方法

    本文实例讲述了MySQL使用临时表加速查询的方法.分享给大家供大家参考.具体分析如下: 使用MySQL临时表,有时是可以加速查询的,下面就为您详细介绍使用MySQL临时表加速查询的方法. 把表的一个子集进行排序并创建MySQL临时表,有时能加速查询.它有助于避免多重排序操作,而且在其他方面还能简化优化器的工作.例如: 复制代码 代码如下: SELECT cust.name,rcVBles.balance,--other columns  SELECT cust.name,rcVBles.bala

  • PHP使用pcntl_fork实现多进程下载图片的方法

    本文实例讲述了PHP使用pcntl_fork实现多进程下载图片的方法.分享给大家供大家参考.具体分析如下: PHP pcntl_fork - 在当前进程当前位置产生分支,子进程,译注:fork是创建了一个子进程,父进程和子进程 都从fork的位置开始向下继续执行,不同的是父进程执行过程中,得到的fork返回值为子进程号,而子进程得到的是0. 注意:PHP有个pcntl_fork的函数可以实现多进程,但要加载pcntl拓展,而且只有在linux下才能编译这个拓展. 1.首先在ubuntu下编译pc

  • Python实现多进程共享数据的方法分析

    本文实例讲述了Python实现多进程共享数据的方法.分享给大家供大家参考,具体如下: 示例一: # -*- coding:utf-8 -*- from multiprocessing import Process, Manager import time import random def kkk(a_list, number): for i in range(10): a_list.append(i) time.sleep(random.randrange(2)) print('这是进程{}

  • PHP 的Opcache加速的使用方法

    本文介绍了PHP 的Opcache加速的使用方法,具体如下,分享给大家: 介绍 PHP 5.5+版本以上的,可以使用PHP自带的opcache开启性能加速(默认是关闭的).对于PHP 5.5以下版本的,需要使用APC加速 Opcache是一种通过将解析的PHP脚本预编译的字节码存放在共享内存中来避免每次加载和解析PHP脚本的开销,解析器可以直接从共享内存读取已经缓存的字节码,从而大大提高PHP的执行效率. 配置 在PHP 5.5.0及后续版本中,PHP已经将Opcache功能以拓展库形式内嵌在发

  • pytorch 固定部分参数训练的方法

    需要自己过滤 optimizer.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3) 另外,如果是Variable,则可以初始化时指定 j = Variable(torch.randn(5,5), requires_grad=True) 但是如果是 m = nn.Linear(10,10) 是没有requires_grad传入的 m.requires_grad也没有 需要 for i in m.parameter

  • pytorch自定义初始化权重的方法

    在常见的pytorch代码中,我们见到的初始化方式都是调用init类对每层所有参数进行初始化.但是,有时我们有些特殊需求,比如用某一层的权重取优化其它层,或者手动指定某些权重的初始值. 核心思想就是构造和该层权重同一尺寸的矩阵去对该层权重赋值.但是,值得注意的是,pytorch中各层权重的数据类型是nn.Parameter,而不是Tensor或者Variable. import torch import torch.nn as nn import torch.optim as optim imp

  • pytorch 自定义数据集加载方法

    pytorch 官网给出的例子中都是使用了已经定义好的特殊数据集接口来加载数据,而且其使用的数据都是官方给出的数据.如果我们有自己收集的数据集,如何用来训练网络呢?此时需要我们自己定义好数据处理接口.幸运的是pytroch给出了一个数据集接口类(torch.utils.data.Dataset),可以方便我们继承并实现自己的数据集接口. torch.utils.data torch的这个文件包含了一些关于数据集处理的类. class torch.utils.data.Dataset: 一个抽象类

  • 对pytorch中的梯度更新方法详解

    背景 使用pytorch时,有一个yolov3的bug,我认为涉及到学习率的调整.收集到tencent yolov3和mxnet开源的yolov3,两个优化器中的学习率设置不一样,而且使用GPU数目和batch的更新也不太一样.据此,我简单的了解了下pytorch的权重梯度的更新策略,看看能否一窥究竟. 对代码说明 共三个实验,分布写在代码中的(一)(二)(三)三个地方.运行实验时注释掉其他两个 实验及其结果 实验(三): 不使用zero_grad()时,grad累加在一起,官网是使用accum

  • 对Python的多进程锁的使用方法详解

    很多时候,我们需要在多个进程中同时写一个文件,如果不加锁机制,就会导致写文件错乱 这个时候,我们可以使用multiprocessing.Lock() 我一开始是这样使用的: import multiprocessing lock = multiprocessing.Lock() class MatchProcess(multiprocessing.Process): def __init__(self, threadId, mfile, lock): multiprocessing.Proces

随机推荐