Pytorch中的modle.train,model.eval,with torch.no_grad解读

目录
  • modle.train,model.eval,with torch.no_grad解读
  • model.eval()与torch.no_grad()的作用
    • model.eval()
    • torch.no_grad()
    • 异同
  • 总结

modle.train,model.eval,with torch.no_grad解读

1. 最近在学习pytorch过程中遇到了几个问题

不理解为什么在训练和测试函数中model.eval()，和model.train()的区别，经查阅后做如下整理

一般情况下，我们训练过程如下：

拿到数据后进行训练，在训练过程中，使用

  • model.train()：告诉我们的网络，这个阶段是用来训练的，可以更新参数。

训练完成后进行预测，在预测过程中，使用

  • model.eval()： 告诉我们的网络，这个阶段是用来测试的，于是模型的参数在该阶段不进行更新。

2. 但是为什么在eval()阶段会使用with torch.no_grad()？

查阅相关资料：传送门

with torch.no_grad - disables tracking of gradients in autograd.
model.eval() changes the forward() behaviour of the module it is called upon
       eg, it disables dropout and has batch norm use the entire population statistics

总结一下就是说，在eval阶段了，即使不更新，但是在模型中所使用的dropout或者batch norm也就失效了，直接都会进行预测，而使用no_grad则设置让梯度Autograd设置为False(因为在训练中我们默认是True)，这样保证了反向过程为纯粹的测试，而不变参数。

另外，参考文档说这样避免每一个参数都要设置，解放了GPU底层的时间开销，在测试阶段统一梯度设置为False

model.eval()与torch.no_grad()的作用

model.eval()

经常在模型推理代码的前面， 都会添加model.eval(), 主要有3个作用：

  • 1.不进行dropout
  • 2.不更新batchnorm的mean 和var 参数
  • 3.不进行梯度反向传播， 但梯度仍然会计算

torch.no_grad()

torch.no_grad的一般使用方法是， 在代码块外面用with torch.no_grad()给包起来。 如下面这样：

with torch.no_grad():
    # your code 

它的主要作用有2个：

  • 1.不进行梯度的计算(当然也就没办法反向传播了)， 节约显存和算力
  • 2.dropout和batchnorn还是会正常更新

异同

从上面的介绍中可以非常明确的看出，它们的相同点是一般都用在推理阶段， 但它们的作用是完全不同的， 也没有重叠。 可以一起使用。

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • pytorch中with torch.no_grad():的用法实例

    目录 1.关于with 2.关于withtorch.no_grad(): 附:pytorch使用模型测试使用withtorch.no_grad(): 总结 1.关于with with是python中上下文管理器,简单理解,当要进行固定的进入,返回操作时,可以将对应需要的操作,放在with所需要的语句中.比如文件的写入(需要打开关闭文件)等. 以下为一个文件写入使用with的例子. with open (filename,'w') as sh: sh.write("#!/bin/bash\n&qu

  • pytorch:model.train和model.eval用法及区别详解

    使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval,eval()时,框架会自动把BN和DropOut固定住,不会取平均,而是用训练好的值,不然的话,一旦test的batch_size过小,很容易就会被BN层导致生成图片颜色失真极大!!!!!! Class Inpaint_Network() ...... Model = Inpaint_Nerwoek() #train: Model.train(mode=True) ..... #test: Model.ev

  • 聊聊PyTorch中eval和no_grad的关系

    首先这两者有着本质上区别 model.eval()是用来告知model内的各个layer采取eval模式工作.这个操作主要是应对诸如dropout和batchnorm这些在训练模式下需要采取不同操作的特殊layer.训练和测试的时候都可以开启. torch.no_grad()则是告知自动求导引擎不要进行求导操作.这个操作的意义在于加速计算.节约内存.但是由于没有gradient,也就没有办法进行backward.所以只能在测试的时候开启. 所以在evaluate的时候,需要同时使用两者. mod

  • Pytorch中的modle.train,model.eval,with torch.no_grad解读

    目录 modle.train,model.eval,with torch.no_grad解读 model.eval()与torch.no_grad()的作用 model.eval() torch.no_grad() 异同 总结 modle.train,model.eval,with torch.no_grad解读 1. 最近在学习pytorch过程中遇到了几个问题 不理解为什么在训练和测试函数中model.eval(),和model.train()的区别,经查阅后做如下整理 一般情况下,我们训练

  • 解决Pytorch中的神坑:关于model.eval的问题

    解决Pytorch中的神坑:关于model.eval的问题

    有时候使用Pytorch训练完模型,在测试数据上面得到的结果令人大跌眼镜. 这个时候需要检查一下定义的Model类中有没有 BN 或 Dropout 层,如果有任何一个存在 那么在测试之前需要加入一行代码: #model是实例化的模型对象 model = model.eval() 表示将模型转变为evaluation(测试)模式,这样就可以排除BN和Dropout对测试的干扰. 因为BN和Dropout在训练和测试时是不同的: 对于BN,训练时通常采用mini-batch,所以每一批中的mean

  • 在pytorch中如何查看模型model参数parameters

    目录 pytorch查看模型model参数parameters pytorch查看模型参数总结 1:DNN_printer 2:parameters 3:get_model_complexity_info() 4:torchstat pytorch查看模型model参数parameters 示例1:pytorch自带的faster r-cnn模型 import torch import torchvision model = torchvision.models.detection.faster

  • Pytorch中关于model.eval()的作用及分析

    目录 model.eval()的作用及分析 结论 Pytorch踩坑之model.eval()问题 比较常见的有两方面的原因 1) data 2)model.state_dict() model.eval()   vs   torch.no_grad() 总结 model.eval()的作用及分析 model.eval() 作用等同于 self.train(False) 简而言之,就是评估模式.而非训练模式. 在评估模式下,batchNorm层,dropout层等用于优化训练而添加的网络层会被关

  • Pytorch 中net.train 和 net.eval的使用说明

    在训练模型时会在前面加上: model.train() 在测试模型时在前面使用: model.eval() 同时发现,如果不写这两个程序也可以运行,这是因为这两个方法是针对在网络训练和测试时采用不同方式的情况,比如Batch Normalization 和 Dropout. 训练时是正对每个min-batch的,但是在测试中往往是针对单张图片,即不存在min-batch的概念. 由于网络训练完毕后参数都是固定的,因此每个批次的均值和方差都是不变的,因此直接结算所有batch的均值和方差. 所有B

  • PyTorch中的神经网络 Mnist 分类任务

    目录 一.Mnist 分类任务简介 二.Mnist 数据集的读取 三. Mnist 分类任务实现 四.使用 TensorDataset 和 DataLoader 简化 本文参加新星计划人工智能(Pytorch)赛道:https://bbs.csdn.net/topics/613989052 一.Mnist 分类任务简介 在上一篇博客当中,我们通过搭建 PyTorch 神经网络实现了气温预测,这本质上是一个回归任务.在本次博文当中,我们使用 PyTorch 做一个分类任务. 其实,分类任务和回归任

  • 聊聊pytorch测试的时候为何要加上model.eval()

    Do need to use model.eval() when I test? Sure, Dropout works as a regularization for preventing overfitting during training. It randomly zeros the elements of inputs in Dropout layer on forward call. It should be disabled during testing since you may

  • pytorch中的embedding词向量的使用方法

    Embedding 词嵌入在 pytorch 中非常简单,只需要调用 torch.nn.Embedding(m, n) 就可以了,m 表示单词的总数目,n 表示词嵌入的维度,其实词嵌入就相当于是一个大矩阵,矩阵的每一行表示一个单词. emdedding初始化 默认是随机初始化的 import torch from torch import nn from torch.autograd import Variable # 定义词嵌入 embeds = nn.Embedding(2, 5) # 2

随机推荐