使用pytorch进行图像的顺序读取方法

产生此次实验的原因：当我使用pytorch进行神经网络的训练时，需要每次向CNN传入一组图像，并且这些图片的存放位置是在两个文件夹中：

A文件夹：图片1a，图片2a，图片3a……图片1000a

B文件夹：图片1b, 图片2b，图片3b……图片1000b

所以在每个循环里，我都希望能从A中取出图片Na,同时从B文件夹中取出对应的图片Nb。

测试一：通过pytorch官方文档中的dataloader搭配python中的迭代器iterator

dataset = dset.ImageFolder(
 root='./folder1',
 transform=transforms.Compose([
  transforms.ToTensor(),
  transforms.Normalize((0.5,0.5,0.5), (0.5,0.5,0.5)), # bring images to (-1,1)
 ])
)
dataloader1 = torch.utils.data.DataLoader(dataset, batch_size=opt.batchSize, shuffle=True, num_workers=opt.workers)
iterator1 = iter(dataloader1)
for i in range(1,1001):
data = iterator1.next()
data2 = iterator2.next()

将两个dataloader当作数据集，然后分别调用迭代器iter(),然后在每次调用的时候使用next()来得到数据。

测试一下：将每次读入的图像输出，不对！发现图像并不是按照图像1，图像2，图像3......这样顺序读取的，而是很奇怪的顺序。所以为了要顺序读取数据，我们需要使用别的方法。

测试一的实验结果：此路不通！

from PIL import Image
pathDir = os.listdir('./folder') #获取文件夹内所有文件的名称，生成数组
 pathDir.sort() #对所有文件名进行排序
 for allDir in pathDir:
 child = os.path.join('%s/%s' % ('./folder', allDir))#合成文件名
 fopen = Image.open(child).convert('RGB') #通过PIL读取文件
 transform_list = [transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5),
  (0.5, 0.5, 0.5))]
 transform = transforms.Compose(transform_list)#将PIL格式的文件转换成 tensor
 image = transform(fopen) #转换

测试二：首先得到文件夹下的所有文件名，将文件名数组做sort()排序,然后每次通过文件名读取图像。

输出每次读入的图片，发现每次排序不正确，它的排序方法是图片1，图片10，图片100……

与我们的期望不一样，所以这种方法也不对（可以重写sort函数来进行自定义的排序，这里不做深入探究）

测试二的实验结果：此路或许可通！

测试三：通过自己构造每次访问的文件名来访问

for i in range(1,1001):
 drain = irain.next()
 dnorain = iground.next()
 drain = os.path.join('%s/图像%s' % ('./rainy_img', i)) #跟上面一样，不过因为已经知道文件的取名顺序，所以拼出需要访问的文件名
 fopen = Image.open(drain).convert('RGB')
 drain = transform(fopen)
 print(drain)

测试三的实验结果：此路畅通无阻！

以上这篇使用pytorch进行图像的顺序读取方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • PyTorch 1.0 正式版已经发布了

    PyTorch 1.0 同时面向产品化 AI 和突破性研究的发展,「我们在 PyTorch1.0 发布前解决了几大问题,包括可重用.性能.编程语言和可扩展性.」Facebook 人工智能副总裁 Jerome Pesenti 曾在PyTorch 开发者大会上表示. 随着 PyTorch 生态系统及社区中有趣新项目及面向开发者的教育资源不断增加,今天 Facebook 在 NeurIPS 大会上发布了 PyTorch 1.0 稳定版.该版本具备生产导向的功能,同时还可以获得主流云平台的支持. 现在,

  • pytorch + visdom CNN处理自建图片数据集的方法

    pytorch + visdom CNN处理自建图片数据集的方法

    环境 系统:win10 cpu:i7-6700HQ gpu:gtx965m python : 3.6 pytorch :0.3 数据下载 来源自Sasank Chilamkurthy 的教程: 数据:下载链接. 下载后解压放到项目根目录: 数据集为用来分类 蚂蚁和蜜蜂.有大约120个训练图像,每个类有75个验证图像. 数据导入 可以使用 torchvision.datasets.ImageFolder(root,transforms) 模块 可以将 图片转换为 tensor. 先定义transf

  • PyTorch CNN实战之MNIST手写数字识别示例

    PyTorch CNN实战之MNIST手写数字识别示例

    简介 卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一,在图像处理领域取得了很大的成功,在国际标准的ImageNet数据集上,许多成功的模型都是基于CNN的. 卷积神经网络CNN的结构一般包含这几个层: 输入层:用于数据的输入 卷积层:使用卷积核进行特征提取和特征映射 激励层:由于卷积也是一种线性运算,因此需要增加非线性映射 池化层:进行下采样,对特征图稀疏处理,减少数据运算量. 全连接层:通常在CNN的尾部进行重新拟合,减

  • pytorch 转换矩阵的维数位置方法

    例如: preds = to_numpy(preds)#preds是[2985x16x2] preds = preds.transpose(2, 1, 0)#preds[2x16x2985] 以上这篇pytorch 转换矩阵的维数位置方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们.

  • 对PyTorch torch.stack的实例讲解

    不是concat的意思 import torch a = torch.ones([1,2]) b = torch.ones([1,2]) torch.stack([a,b],1) (0 ,.,.) = 1 1 1 1 [torch.FloatTensor of size 1x2x2] 以上这篇对PyTorch torch.stack的实例讲解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们.

  • pytorch 调整某一维度数据顺序的方法

    在pytorch中,Tensor是以引用的形式存在的,故而并不能直接像python交换数据那样 a = torch.Tensor(3,4) a[0],a[1] = a[1],a[0] # 这会导致a的结果为a=(a[1],a[1],a[2]) # 而非预期的(a[1],a[0],a[2]) 这是因为引用赋值导致的,在交换过程,如下所示,当b的值赋值与a的时候,因为tmp指针与a是同一变量的不同名,故而tmp的内容也会变为b. # 交换a,b a,b = b,a # 等价于 tmp = a a =

  • 对pytorch网络层结构的数组化详解

    最近再写openpose,它的网络结构是多阶段的网络,所以写网络的时候很想用列表的方式,但是直接使用列表不能将网络中相应的部分放入到cuda中去. 其实这个问题很简单的,使用moduleList就好了. 1 我先是定义了一个函数,用来根据超参数,建立一个基础网络结构 stage = [[3, 3, 3, 1, 1], [7, 7, 7, 7, 7, 1, 1]] branches_cfg = [[[128, 128, 128, 512, 38], [128, 128, 128, 512, 19]

  • pytorch对可变长度序列的处理方法详解

    主要是用函数torch.nn.utils.rnn.PackedSequence()和torch.nn.utils.rnn.pack_padded_sequence()以及torch.nn.utils.rnn.pad_packed_sequence()来进行的,分别来看看这三个函数的用法. 1.torch.nn.utils.rnn.PackedSequence() NOTE: 这个类的实例不能手动创建.它们只能被 pack_padded_sequence() 实例化. PackedSequence

  • mac安装pytorch及系统的numpy更新方法

    安装Pytorch 在pytorch官网上选择相应选项,我的是OS X, pip, python2.7, none CUDA. (之所以用python2.7只是觉得现在还有好多代码用2.7写的,用3+版本经常会由于语法更新而报错.而且用3+的话sublime还要配下python3 的building system......) 打开terminal,输入: sudo pip install http://download.pytorch.org/whl/torch-0.3.0.post4-cp2

  • 浅谈pytorch和Numpy的区别以及相互转换方法

    如下所示: # -*- coding: utf-8 -*- # @Time : 2018/1/17 16:37 # @Author : Zhiwei Zhong # @Site : # @File : Numpy_Pytorch.py # @Software: PyCharm import torch import numpy as np np_data = np.arange(6).reshape((2, 3)) # numpy 转为 pytorch格式 torch_data = torch.

随机推荐