人工智能学习pyTorch自建数据集及可视化结果实现过程

目录
  • 一、自定义数据集
    • 1.文件夹映射
    • 2.图片对应标签
    • 3.训练及测试数据分割
    • 4.数据处理
  • 二、ResNet处理
  • 三、训练及可视化
    • 1.数据集导入
    • 2.测试函数
    • 3.训练过程及可视化

一、自定义数据集

现有数据如下：

5个文件夹，每个文件夹是神奇宝贝的一种。

每个图片形状、大小、格式不一。

我们训练CNN的时候需要的是tensor类型的数据，因此需要将所有的图片进行下列转换：

1.对文件夹编号，进行映射，比如妙蛙种子文件夹编号0，皮卡丘编号1等。

2.对文件夹中所有图片，进行编号的对应，这个就是标签。并保存为一个csv文件。

3.图片信息获取：分为train,val,test

4.处理图片，使其成为torch可以处理的类型

1.文件夹映射

前半部分为文件夹的映射。我们希望传入数据的时候直接传入文件夹的名字，而文件夹所在的路径就是py文件所在的路径，因此这样可以直接读取。对于路径的操作使用os.path.join进行。

2.图片对应标签

输入的filename，就是我们将图片和标签信息存储的文件。

使用glob.glob方法，可以轻松调取路径下的所有指定类型的文件。

将名字和标签对应好后，通过csv.writer，可以将信息以csv格式写入新文件。

以上是保存的部分，在这个函数中，我们还要重新读取一下这个文件，因为要在这个类中获得最终的图片，以及标签，并且返回。

3.训练及测试数据分割

这里是第一步的图片的后半部分，导入了图片之后，对其进行分割，这里是按照训练、交叉验证、测试，分别是0.6,0.2,0.2进行分割的。

分割完毕后的self.images, self.labels，就可以拿来进行tensor相关的处理了。

4.数据处理

上面几步是准备工作，接下来定义的__getitem__是为了能够使train_loader = DataLoader()这一语句实现。在这里面直接将数据进行我们希望进行的转换。比如大小、旋转、裁剪等。

最后返回处理好的图片，以及tensor化的标签。

另外，还需要定义一个__len__，使得我们可以获得数据集长度。

二、ResNet处理

我们要用ResNet对图片进行处理，因此其中的参数需要进行一定的修改。

主要的修改部分是ResNet18之中的resblock模块。因为我们希望输入的是3通道，224*224的图片，因此在这里对通道，步长进行一定的修改，并进行测试，成功之后便可以进行训练了。

三、训练及可视化

1.数据集导入

同时把GPU设备相关代码准备好，并且由于需要可视化，因此先实例化visdom，并且在终端上输入python -m visdom.server，打开visdom监视终端。

2.测试函数

先把模式改为eval()，接下来就是通过model，去训练测试集，得到标签，并统计正确率。

3.训练过程及可视化

和之前的一样，还是先实例化一个优化器，选择损失函数模式，实例化ResNet18，然后进行训练。

在这里由于要展示，因此先对损失值，交叉验证分数分别设置一个初始的线，通过append的方法，画出我们的损失曲线，以及交叉验证分数曲线。

通过torch.save方法存储我们的最优解。

最后通过把存储好的最优解调用起来，使用测试集，来测试最终的效果。

最终获得的交叉验证准确率89%，测试集准确率88%，损失值及交叉验证结果的图像如下：

以上就是人工智能学习pyTorch自建数据集及可视化结果实现过程的详细内容，更多关于pyTorch自建数据集及可视化结果实现的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • 人工智能学习Pytorch数据集分割及动量示例详解

    人工智能学习Pytorch数据集分割及动量示例详解

    目录 1.数据集分割 2.正则化 3.动量和学习率衰减 1.数据集分割 通过datasets可以直接分别获取训练集和测试集. 通常我们会将训练集进行分割,通过torch.utils.data.random_split方法. 所有的数据都需要通过torch.util.data.DataLoader进行加载,才可以得到可以使用的数据集. 具体代码如下: 2. 2.正则化 PyTorch中的正则化和机器学习中的一样,不过设置方式不一样. 直接在优化器中,设置weight_decay即可.优化器中,默认

  • 人工智能学习pyTorch的ResNet残差模块示例详解

    人工智能学习pyTorch的ResNet残差模块示例详解

    目录 1.定义ResNet残差模块 ①各层的定义 ②前向传播 2.ResNet18的实现 ①各层的定义 ②前向传播 3.测试ResNet18 1.定义ResNet残差模块 一个block中,有两个卷积层,之后的输出还要和输入进行相加.因此一个block的前向流程如下: 输入x→卷积层→数据标准化→ReLU→卷积层→数据标准化→数据和x相加→ReLU→输出out 中间加上了数据的标准化(通过nn.BatchNorm2d实现),可以使得效果更好一些. ①各层的定义 ②前向传播 在前向传播中输入x,过

  • pytorch制作自己的LMDB数据操作示例

    本文实例讲述了pytorch制作自己的LMDB数据操作.分享给大家供大家参考,具体如下: 前言 记录下pytorch里如何使用lmdb的code,自用 制作部分的Code code就是ASTER里数据制作部分的代码改了点,aster_train.txt里面就算图片的完整路径每行一个,图片同目录下有同名的txt,里面记着jpg的标签 import os import lmdb # install lmdb by "pip install lmdb" import cv2 import n

  • 使用 pytorch 创建神经网络拟合sin函数的实现

    使用 pytorch 创建神经网络拟合sin函数的实现

    我们知道深度神经网络的本质是输入端数据和输出端数据的一种高维非线性拟合,如何更好的理解它,下面尝试拟合一个正弦函数,本文可以通过简单设置节点数,实现任意隐藏层数的拟合. 基于pytorch的深度神经网络实战,无论任务多么复杂,都可以将其拆分成必要的几个模块来进行理解. 1)构建数据集,包括输入,对应的标签y 2) 构建神经网络模型,一般基于nn.Module继承一个net类,必须的是__init__函数和forward函数.__init__构造函数包括创建该类是必须的参数,比如输入节点数,隐藏层

  • 人工智能学习Pytorch进阶操作教程

    人工智能学习Pytorch进阶操作教程

    目录 一.合并与分割 1.cat拼接 2.stack堆叠 3.拆分 ①Split按长度拆分 ②Chunk按数量拆分 二.基本运算 1.加减乘除 2.矩阵相乘 3.次方计算 4. clamp 三.属性统计 1.求范数 2.求极值.求和.累乘 3. dim和keepdim 4.topk和kthvalue 5.比较运算 6.高阶操作 ①where ②gather 一.合并与分割 1.cat拼接 直接按照指定的dim维度进行合并,要求除了所需要合并的维度之外,其他的维度需要是一样的 2.stack堆叠

  • 人工智能学习PyTorch实现CNN卷积层及nn.Module类示例分析

    人工智能学习PyTorch实现CNN卷积层及nn.Module类示例分析

    目录 1.CNN卷积层 2. 池化层 3.数据批量标准化 4.nn.Module类 ①各类函数 ②容器功能 ③参数管理 ④调用GPU ⑤存储和加载 ⑥训练.测试状态切换 ⑦ 创建自己的层 5.数据增强 1.CNN卷积层 通过nn.Conv2d可以设置卷积层,当然也有1d和3d. 卷积层设置完毕,将设置好的输入数据,传给layer(),即可完成一次前向运算.也可以传给layer.forward,但不推荐. 2. 池化层 池化层的核大小一般是2*2,有2种方式: maxpooling:选择数据中最大

  • 人工智能学习Pytorch梯度下降优化示例详解

    人工智能学习Pytorch梯度下降优化示例详解

    目录 一.激活函数 1.Sigmoid函数 2.Tanh函数 3.ReLU函数 二.损失函数及求导 1.autograd.grad 2.loss.backward() 3.softmax及其求导 三.链式法则 1.单层感知机梯度 2. 多输出感知机梯度 3. 中间有隐藏层的求导 4.多层感知机的反向传播 四.优化举例 一.激活函数 1.Sigmoid函数 函数图像以及表达式如下: 通过该函数,可以将输入的负无穷到正无穷的输入压缩到0-1之间.在x=0的时候,输出0.5 通过PyTorch实现方式

  • 人工智能学习pyTorch自建数据集及可视化结果实现过程

    人工智能学习pyTorch自建数据集及可视化结果实现过程

    目录 一.自定义数据集 1.文件夹映射 2.图片对应标签 3.训练及测试数据分割 4.数据处理 二.ResNet处理 三.训练及可视化 1.数据集导入 2.测试函数 3.训练过程及可视化 一.自定义数据集 现有数据如下: 5个文件夹,每个文件夹是神奇宝贝的一种. 每个图片形状.大小.格式不一. 我们训练CNN的时候需要的是tensor类型的数据,因此需要将所有的图片进行下列转换: 1.对文件夹编号,进行映射,比如妙蛙种子文件夹编号0,皮卡丘编号1等. 2.对文件夹中所有图片,进行编号的对应,这个

  • Python深度学习pytorch实现图像分类数据集

    Python深度学习pytorch实现图像分类数据集

    目录 读取数据集 读取小批量 整合所有组件 目前广泛使用的图像分类数据集之一是MNIST数据集.如今,MNIST数据集更像是一个健全的检查,而不是一个基准. 为了提高难度,我们将在接下来的章节中讨论在2017年发布的性质相似但相对复杂的Fashion-MNIST数据集. import torch import torchvision from torch.utils import data from torchvision import transforms from d2l import to

  • Python人工智能学习PyTorch实现WGAN示例详解

    Python人工智能学习PyTorch实现WGAN示例详解

    目录 1.GAN简述 2.生成器模块 3.判别器模块 4.数据生成模块 5.判别器训练 6.生成器训练 7.结果可视化 1.GAN简述 在GAN中,有两个模型,一个是生成模型,用于生成样本,一个是判别模型,用于判断样本是真还是假.但由于在GAN中,使用的JS散度去计算损失值,很容易导致梯度弥散的情况,从而无法进行梯度下降更新参数,于是在WGAN中,引入了Wasserstein Distance,使得训练变得稳定.本文中我们以服从高斯分布的数据作为样本. 2.生成器模块 这里从2维数据,最终生成2

  • 人工智能学习Pytorch教程Tensor基本操作示例详解

    人工智能学习Pytorch教程Tensor基本操作示例详解

    目录 一.tensor的创建 1.使用tensor 2.使用Tensor 3.随机初始化 4.其他数据生成 ①torch.full ②torch.arange ③linspace和logspace ④ones, zeros, eye ⑤torch.randperm 二.tensor的索引与切片 1.索引与切片使用方法 ①index_select ②... ③mask 三.tensor维度的变换 1.维度变换 ①torch.view ②squeeze/unsqueeze ③expand,repea

  • 人工智能学习Pytorch张量数据类型示例详解

    人工智能学习Pytorch张量数据类型示例详解

    目录 1.python 和 pytorch的数据类型区别 2.张量 ①一维张量 ②二维张量 ③3维张量 ④4维张量 1.python 和 pytorch的数据类型区别 在PyTorch中无法展示字符串,因此表达字符串,需要将其转换成编码的类型,比如one_hot,word2vec等. 2.张量 在python中,会有标量,向量,矩阵等的区分.但在PyTorch中,这些统称为张量tensor,只是维度不同而已. 标量就是0维张量,只有一个数字,没有维度. 向量就是1维张量,是有顺序的数字,但没有"

随机推荐