Python Pytorch深度学习之自动微分

目录
  • 一、简介
  • 二、TENSOR
  • 三、梯度
  • 四、Example——雅克比向量积
  • 总结

一、简介

antograd包是Pytorch中所有神经网络的核心。autograd为Tensor上的所有操作提供自动微分，它是一个由运行定义的框架，这意味着以代码运行方式定义后向传播，并且每一次迭代都可能不同

二、TENSOR

torch.Tensor是包的核心。

1.如果将属性.requires_grad设置为True,则会开始跟踪针对tensor的所有操作。

2.完成计算之后，可以调用backward()来自带计算多有梯度。该张量的梯度将积累到.grad属性中。

3.要停止tensor历史记录的跟踪，可以调用.detach()，他将与计算历史记录分离，并防止将来的计算被跟踪

4.要停止跟踪历史记录（和使用内存），可以将代码块使用with torch.no_grad():包装起来。在评估模型时候，很有用，因为模型在训练阶段具有requires_grad=True的可训练参数有利于调参，但是在评估阶段不需要梯度

5.还有一个对于autograd实现非常重要的就是Function。tensor和Function互相连接并构建一个肺循环图，他保存整个完整的计算过程的历史信息。每个张量都有一个.grad_fn属性保存着创建了张量的Function的引用（如果用户自己创建的张量，那么grad_fn是None）

6.如果想计算导数，可以调用Tensor.backward().如果Tensor是标量（包含一个元素数据）则不需要指定任何参数backward(),但是如果他有更多元素，则需要指定gradient参数来指定张量的形状

import torch
# 创建一个张量，设置requires_grad=True
x=torch.ones(2,2,requires_grad=True)
print(x)
# 针对张量操作
y=x+2
print(y)
print(y.grad_fn)#y作为操作的结果被创建，所以他有grad_fn

# 对y操作
z=y*y*3
out=z.mean()
print(z,out)

运行结果

# 如果在变量输入过程中没有提供相应参数，输入的标记默认为False,requires_grad_()会改变张量的requires_grad标记
a=torch.randn(2, 2)
a=((a*3)/(a-1))
# 前面没有设置requires_grad，固会输出False
print(a.requires_grad)
a.requires_grad_(True)
# 经过上面语句的更改之后，此处应该输出True
print(a.requires_grad)
b=(a*a).sum()
# 输出梯度信息
print(b.grad_fn)

运行结果

三、梯度

现在向后传播，因为输出包含了一个标量，out,backward()等同于out.backward(torch.tensor(1,))

out.backward()#向后传播
print(x.grad)#打印梯度

运行结果

原理

四、Example——雅克比向量积

# 雅克比向量积
x=torch.randn(3,requires_grad=True)
y=x*2
print(y)
while y.data.norm()<1000:
    y=y*2
print(y)#此时y不是标量，torch.autograd 不能够直接计算整个雅可比，但是如果我们只想要雅可比向量积，只需要简单的传递向量给 backward 作为参数
v=torch.tensor([0.1,1.0,0.0001],dtype=torch.float)
y.backward(v)
print(x.grad)

print(x.requires_grad)
print((x**2).requires_grad)
# 使用一下语句停止从跟踪历史中.require_gra=True的张量自动求导
with torch.no_grad():
    print((x**2).requires_grad)

运行结果

总结

本篇文章就到这里了，希望能够给你带来帮助，也希望您能够多多关注我们的更多内容！

赞 (0)

相关推荐

  • python实现数学模型(插值、拟合和微分方程)

    问题1 车辆数量估计 题目描述 交通管理部门为了掌握一座桥梁的通行情况,在桥梁的一端每隔一段不等的时间,连续记录1min内通过桥梁的车辆数量,连续观测一天24h的通过车辆,车辆数据如下表所示.试建立模型分析估计这一天中总共有多少车辆通过这座桥梁. python 实现(关键程序) def get_line(xn, yn): def line(x): index = -1 # 找出x所在的区间 for i in range(1, len(xn)): if x <= xn[i]: index = i

  • python中sympy库求常微分方程的用法

    问题1: 程序,如下 from sympy import * f = symbols('f', cls=Function) x = symbols('x') eq = Eq(f(x).diff(x, x) - 2*f(x).diff(x) + f(x), sin(x)) print(dsolve(eq, f(x))) 结果 Eq(f(x), (C1 + C2*x)*exp(x) + cos(x)/2) 附:布置考试中两题 1.利用python的Sympy库求解微分方程的解 y=f(x),并尝试利

  • python中几种自动微分库解析

    前言 简单介绍下python的几个自动求导工具,tangent.autograd.sympy: 在各种机器学习.深度学习框架中都包含了自动微分,微分主要有这么四种:手动微分法.数值微分法.符号微分法.自动微分法,这里分别简单走马观花(hello world式)的介绍下下面几种微分框架: sympy 强大的科学计算库,使用的是符号微分,通过生成符号表达式进行求导:求得的导数不一定为最简的,当函数较为复杂时所生成的表达式树异常复杂: autograd自动微分先将符号微分用于基本的算子,带入数值并保存

  • python 解决微分方程的操作(数值解法)

    python 解决微分方程的操作(数值解法)

    Python求解微分方程(数值解法) 对于一些微分方程来说,数值解法对于求解具有很好的帮助,因为难以求得其原方程. 比如方程: 但是我们知道了它的初始条件,这对于我们叠代求解很有帮助,也是必须的. 那么现在我们也用Python去解决这一些问题,一般的数值解法有欧拉法.隐式梯形法等,我们也来看看这些算法对叠代的精度有什么区别? ```python ```python import numpy as np from scipy.integrate import odeint from matplot

  • Python 函数绘图及函数图像微分与积分

    前言 在学校太闲,就写了这个程序,可以绘制函数图像,并且可以绘制其导函数图像和不定积分的图像,效果非常不错. 效果图 说明 1,程序无法绘制复数图像,若函数返回一个复数,将自动取模作为函数值进行绘制. 2,函数的表达式支持Python所有内置函数和math库,time库,random库的函数(要求函数返回的是数字). 3,@("g(x)")和$("g(x)")是g(x)的导函数和不定积分的固定格式,其中g(x)是被微函数的表达式或者被积函数的表达式,"g(

  • Python Pytorch深度学习之自动微分

    Python Pytorch深度学习之自动微分

    目录 一.简介 二.TENSOR 三.梯度 四.Example--雅克比向量积 总结 一.简介 antograd包是Pytorch中所有神经网络的核心.autograd为Tensor上的所有操作提供自动微分,它是一个由运行定义的框架,这意味着以代码运行方式定义后向传播,并且每一次迭代都可能不同 二.TENSOR torch.Tensor是包的核心. 1.如果将属性.requires_grad设置为True,则会开始跟踪针对tensor的所有操作. 2.完成计算之后,可以调用backward()来

  • Python Pytorch深度学习之核心小结

    Python Pytorch深度学习之核心小结

    目录 一.Numpy实现网络 二.Pytorch:Tensor 三.自动求导 1.PyTorch:Tensor和auto_grad 总结 Pytorch的核心是两个主要特征: 1.一个n维tensor,类似于numpy,但是tensor可以在GPU上运行 2.搭建和训练神经网络时的自动微分/求导机制 一.Numpy实现网络 在总结Tensor之前,先使用numpy实现网络.numpy提供了一个n维数组对象,以及许多用于操作这些数组的函数. import numpy as np # n是批量大小,

  • Python Pytorch深度学习之数据加载和处理

    Python Pytorch深度学习之数据加载和处理

    目录 一.下载安装包 二.下载数据集 三.读取数据集 四.编写一个函数看看图像和landmark 五.数据集类 六.数据可视化 七.数据变换 1.Function_Rescale 2.Function_RandomCrop 3.Function_ToTensor 八.组合转换 九.迭代数据集 总结 一.下载安装包 packages: scikit-image:用于图像测IO和变换 pandas:方便进行csv解析 二.下载数据集 数据集说明:该数据集(我在这)是imagenet数据集标注为fac

  • Python Pytorch深度学习之神经网络

    Python Pytorch深度学习之神经网络

    目录 一.简介 二.神经网络训练过程 2.通过调用net.parameters()返回模型可训练的参数 3.迭代整个输入 4.调用反向传播 5.计算损失值 6.反向传播梯度 7.更新神经网络参数 总结 一.简介 神经网络可以通过torch.nn包构建,上一节已经对自动梯度有些了解,神经网络是基于自动梯度来定义一些模型.一个nn.Module包括层和一个方法,它会返回输出.例如:数字图片识别的网络: 上图是一个简单的前回馈神经网络,它接收输入,让输入一个接着一个通过一些层,最后给出输出. 二.神经

  • Python Pytorch深度学习之图像分类器

    Python Pytorch深度学习之图像分类器

    目录 一.简介 二.数据集 三.训练一个图像分类器 1.导入package吧 2.归一化处理+贴标签吧 3.先来康康训练集中的照片吧 4.定义一个神经网络吧 5.定义一个损失函数和优化器吧 6.训练网络吧 7.在测试集上测试一下网络吧 8.分别查看一下训练效果吧 总结 一.简介 通常,当处理图像.文本.语音或视频数据时,可以使用标准Python将数据加载到numpy数组格式,然后将这个数组转换成torch.*Tensor 对于图像,可以用Pillow,OpenCV 对于语音,可以用scipy,l

  • Python Pytorch深度学习之Tensors张量

    Python Pytorch深度学习之Tensors张量

    目录 一.Tensor(张量) 二.操作 总结 环境:Anaconda自带的编译器--Spyder 最近才开使用conda,发现conda 就是 yyds,爱啦~ 一.Tensor(张量) import torch #构造一个5*3的空矩阵 x=torch.FloatTensor(5,3) print(x) # 构造随机初始化矩阵 x=torch.rand(5,3) print(x) # 构造一个矩阵全为0,而且数据类型为long x=torch.zeros(5,3,dtype=torch.lo

  • Pytorch深度学习之实现病虫害图像分类

    Pytorch深度学习之实现病虫害图像分类

    目录 一.pytorch框架 1.1.概念 1.2.机器学习与深度学习的区别 1.3.在python中导入pytorch成功截图 二.数据集 三.代码复现 3.1.导入第三方库 3.2.CNN代码 3.3.测试代码 四.训练结果 4.1.LOSS损失函数 4.2. ACC 4.3.单张图片识别准确率 四.小结 一.pytorch框架 1.1.概念 PyTorch是一个开源的Python机器学习库,基于Torch,用于自然语言处理等应用程序. 2017年1月,由Facebook人工智能研究院(FA

  • pyTorch深度学习softmax实现解析

    pyTorch深度学习softmax实现解析

    目录 用PyTorch实现linear模型 模拟数据集 定义模型 加载数据集 optimizer 模型训练 softmax回归模型 Fashion-MNIST cross_entropy 模型的实现 利用PyTorch简易实现softmax 用PyTorch实现linear模型 模拟数据集 num_inputs = 2 #feature number num_examples = 1000 #训练样本个数 true_w = torch.tensor([[2],[-3.4]]) #真实的权重值 t

  • PyTorch深度学习模型的保存和加载流程详解

    PyTorch深度学习模型的保存和加载流程详解

    一.模型参数的保存和加载 torch.save(module.state_dict(), path):使用module.state_dict()函数获取各层已经训练好的参数和缓冲区,然后将参数和缓冲区保存到path所指定的文件存放路径(常用文件格式为.pt..pth或.pkl). torch.nn.Module.load_state_dict(state_dict):从state_dict中加载参数和缓冲区到Module及其子类中 . torch.nn.Module.state_dict()函数

  • Pytorch深度学习经典卷积神经网络resnet模块训练

    Pytorch深度学习经典卷积神经网络resnet模块训练

    目录 前言 一.resnet 二.resnet网络结构 三.resnet18 1.导包 2.残差模块 2.通道数翻倍残差模块 3.rensnet18模块 4.数据测试 5.损失函数,优化器 6.加载数据集,数据增强 7.训练数据 8.保存模型 9.加载测试集数据,进行模型测试 四.resnet深层对比 前言 随着深度学习的不断发展,从开山之作Alexnet到VGG,网络结构不断优化,但是在VGG网络研究过程中,人们发现随着网络深度的不断提高,准确率却没有得到提高,如图所示: 人们觉得深度学习到此

随机推荐