在 pytorch 中实现计算图和自动求导

前言：

今天聊一聊 pytorch 的计算图和自动求导，我们先从一个简单例子来看，下面是一个简单函数建立了 yy 和 xx 之间的关系

然后我们结点和边形式表示上面公式：

上面的式子可以用图的形式表达，接下来我们用 torch 来计算 x 导数，首先我们创建一个 tensor 并且将其requires_grad设置为True表示随后反向传播会对其进行求导。

x = torch.tensor(3.,requires_grad=True)

然后写出

y = 3*x**2 + 4*x + 2
y.backward()
x.grad

通过调用y.backward()来进行求导，这时就可以通过x.grad来获得x的导数

x.requires_grad_(False)

可以通过requires_grad_让x不参与到自动求导

for epoch in range(3):
  y = 3*x**2 + 4*x + 2
  y.backward()
  print(x.grad)
  x.grad.zero_()

如果这里没有调用x.grad_zero_()就是把每次求导数和上一次求导结果进行累加。

链式法则

相对于 z 对 x 求偏导时，我们可以将 y 看成常数，这样 x 导数是 1 那么

x = torch.tensor([1.,2.,3.],requires_grad=True)
y = x * 2 + 3
z = y **2
out = z.mean()
out.backward()
print(out) #tensor(51.6667, grad_fn=<MeanBackward0>)
print(x.grad) #tensor([ 6.6667, 9.3333, 12.0000])

对于一个简单的网络，我们可以手动计算梯度，但是如果摆在你面前的是一个有152 层的网络怎么办？或者该网络有多个分支。这时你的计算复杂程度可想而知。接下来会带来更深入自动求导内部机制

到此这篇关于在 pytorch 中实现计算图和自动求导的文章就介绍到这了,更多相关 pytorch 计算图 内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • 关于PyTorch 自动求导机制详解

    自动求导机制 从后向中排除子图 每个变量都有两个标志:requires_grad和volatile.它们都允许从梯度计算中精细地排除子图,并可以提高效率. requires_grad 如果有一个单一的输入操作需要梯度,它的输出也需要梯度.相反,只有所有输入都不需要梯度,输出才不需要.如果其中所有的变量都不需要梯度进行,后向计算不会在子图中执行. >>> x = Variable(torch.randn(5, 5)) >>> y = Variable(torch.rand

  • pytorch-autograde-计算图的特点说明

    pytorch-autograde-计算图的特点说明

    在PyTorch实现中,autograd会随着用户的操作,记录生成当前variable的所有操作,并由此建立一个有向无环图.用户每进行一个操作,相应的计算图就会发生改变. 更底层的实现中,图中记录了操作Function,每一个变量在图中的位置可通过其grad_fn属性在图中的位置推测得到.在反向传播过程中,autograd沿着这个图从当前变量(根节点\textbf{z}z)溯源,可以利用链式求导法则计算所有叶子节点的梯度. 每一个前向传播操作的函数都有与之对应的反向传播函数用来计算输入的各个va

  • 浅谈Pytorch中的自动求导函数backward()所需参数的含义

    正常来说backward( )函数是要传入参数的,一直没弄明白backward需要传入的参数具体含义,但是没关系,生命在与折腾,咱们来折腾一下,嘿嘿. 对标量自动求导 首先,如果out.backward()中的out是一个标量的话(相当于一个神经网络有一个样本,这个样本有两个属性,神经网络有一个输出)那么此时我的backward函数是不需要输入任何参数的. import torch from torch.autograd import Variable a = Variable(torch.Te

  • Pytorch自动求导函数详解流程以及与TensorFlow搭建网络的对比

    Pytorch自动求导函数详解流程以及与TensorFlow搭建网络的对比

    一.定义新的自动求导函数 在底层,每个原始的自动求导运算实际上是两个在Tensor上运行的函数.其中,forward函数计算从输入Tensor获得的输出Tensors.而backward函数接收输出,Tensors对于某个标量值得梯度,并且计算输入Tensors相对于该相同标量值得梯度. 在Pytorch中,可以容易地通过定义torch.autograd.Function的子类实现forward和backward函数,来定义自动求导函数.之后就可以使用这个新的自动梯度运算符了.我们可以通过构造一

  • 在 pytorch 中实现计算图和自动求导

    在 pytorch 中实现计算图和自动求导

    前言: 今天聊一聊 pytorch 的计算图和自动求导,我们先从一个简单例子来看,下面是一个简单函数建立了 yy 和 xx 之间的关系 然后我们结点和边形式表示上面公式: 上面的式子可以用图的形式表达,接下来我们用 torch 来计算 x 导数,首先我们创建一个 tensor 并且将其requires_grad设置为True表示随后反向传播会对其进行求导. x = torch.tensor(3.,requires_grad=True) 然后写出 y = 3*x**2 + 4*x + 2 y.ba

  • pytorch中的自定义反向传播,求导实例

    pytorch中自定义backward()函数.在图像处理过程中,我们有时候会使用自己定义的算法处理图像,这些算法多是基于numpy或者scipy等包. 那么如何将自定义算法的梯度加入到pytorch的计算图中,能使用Loss.backward()操作自动求导并优化呢.下面的代码展示了这个功能` import torch import numpy as np from PIL import Image from torch.autograd import gradcheck class Bicu

  • pytorch如何定义新的自动求导函数

    目录 pytorch定义新的自动求导函数 pytorch自动求导与逻辑回归 自动求导 逻辑回归 总结 pytorch定义新的自动求导函数 在pytorch中想自定义求导函数,通过实现torch.autograd.Function并重写forward和backward函数,来定义自己的自动求导运算.参考官网上的demo:传送门 直接上代码,定义一个ReLu来实现自动求导 import torch class MyRelu(torch.autograd.Function): @staticmetho

  • TensorFlow的自动求导原理分析

    TensorFlow的自动求导原理分析

    原理: TensorFlow使用的求导方法称为自动微分(Automatic Differentiation),它既不是符号求导也不是数值求导,而类似于将两者结合的产物. 最基本的原理就是链式法则,关键思想是在基本操作(op)的水平上应用符号求导,并保持中间结果(grad). 基本操作的符号求导定义在\tensorflow\python\ops\math_grad.py文件中,这个文件中的所有函数都用RegisterGradient装饰器包装了起来,这些函数都接受两个参数op和grad,参数op是

  • 关于pytorch中网络loss传播和参数更新的理解

    相比于2018年,在ICLR2019提交论文中,提及不同框架的论文数量发生了极大变化,网友发现,提及tensorflow的论文数量从2018年的228篇略微提升到了266篇,keras从42提升到56,但是pytorch的数量从87篇提升到了252篇. TensorFlow: 228--->266 Keras: 42--->56 Pytorch: 87--->252 在使用pytorch中,自己有一些思考,如下: 1. loss计算和反向传播 import torch.nn as nn

  • Pytorch中的自动求梯度机制和Variable类实例

    自动求导机制是每一个深度学习框架中重要的性质,免去了手动计算导数,下面用代码介绍并举例说明Pytorch的自动求导机制. 首先介绍Variable,Variable是对Tensor的一个封装,操作和Tensor是一样的,但是每个Variable都有三个属性:Varibale的Tensor本身的.data,对应Tensor的梯度.grad,以及这个Variable是通过什么方式得到的.grad_fn,根据最新消息,在pytorch0.4更新后,torch和torch.autograd.Variab

  • 聊聊PyTorch中eval和no_grad的关系

    首先这两者有着本质上区别 model.eval()是用来告知model内的各个layer采取eval模式工作.这个操作主要是应对诸如dropout和batchnorm这些在训练模式下需要采取不同操作的特殊layer.训练和测试的时候都可以开启. torch.no_grad()则是告知自动求导引擎不要进行求导操作.这个操作的意义在于加速计算.节约内存.但是由于没有gradient,也就没有办法进行backward.所以只能在测试的时候开启. 所以在evaluate的时候,需要同时使用两者. mod

随机推荐