解决Numpy与Pytorch彼此转换时的坑

前言 ​  

最近使用 Numpy包与Pytorch写神经网络时，经常需要两者彼此转换，故用此笔记记录码代码时踩（菜）过的坑，网上有人说：

Pytorch 又被称为 GPU 版的 Numpy，二者的许多功能都有良好的一一对应。

​但在使用时还是得多多注意，一个不留神就陷入到了 一根烟一杯酒，一个Bug找一宿 的地步。

1.1、numpy ——> torch ​  

使用 torch.from_numpy() 转换，需要注意，两者共享内存。例子如下：

import torch
import numpy as np

a = np.array([1,2,3])
b = torch.from_numpy(a)
np.add(a, 1, out=a)
print('转换后a', a)
print('转换后b', b)

# 显示

转换后a [2 3 4]
转换后b tensor([2, 3, 4], dtype=torch.int32)

1.2、torch——> numpy ​  

使用 .numpy() 转换，同样，两者共享内存。例子如下：

import torch
import numpy as np

a = torch.zeros((2, 3), dtype=torch.float)
c = a.numpy()
np.add(c, 1, out=c)
print('a:', a)
print('c：', c)

# 结果

a: tensor([[1., 1., 1.],
           [1., 1., 1.]])
c： [[1. 1. 1.]
  [1. 1. 1.]]

需要注意的是，如果将程序中的 np.add(c, 1, out=c) 改成 c = c + 1 会发现两者貌似不共享内存了，其实不然，原因是后者相当于改变了 c 的存储地址。可以使用 id(c) 发现c的内存位置变了。

补充：pytorch中tensor数据和numpy数据转换中注意的一个问题

在pytorch中，把numpy.array数据转换到张量tensor数据的常用函数是torch.from_numpy(array)或者torch.Tensor(array)，第一种函数更常用。

下面通过代码看一下区别：

import numpy as np
import torch

a=np.arange(6,dtype=int).reshape(2,3)
b=torch.from_numpy(a)
c=torch.Tensor(a)

a[0][0]=10
print(a,'\n',b,'\n',c)
[[10  1  2]
 [ 3  4  5]]
 tensor([[10,  1,  2],
        [ 3,  4,  5]], dtype=torch.int32)
 tensor([[0., 1., 2.],
        [3., 4., 5.]])

c[0][0]=10
print(a,'\n',b,'\n',c)
[[10  1  2]
 [ 3  4  5]]
 tensor([[10,  1,  2],
        [ 3,  4,  5]], dtype=torch.int32)
 tensor([[10.,  1.,  2.],
        [ 3.,  4.,  5.]])

print(b.type())
torch.IntTensor
print(c.type())
torch.FloatTensor

可以看出修改数组a的元素值，张量b的元素值也改变了，但是张量c却不变。修改张量c的元素值，数组a和张量b的元素值都不变。

这说明torch.from_numpy(array)是做数组的浅拷贝，torch.Tensor(array)是做数组的深拷贝。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • python、PyTorch图像读取与numpy转换实例

    Tensor转为numpy np.array(Tensor) numpy转换为Tensor torch.Tensor(numpy.darray) PIL.Image.Image转换成numpy np.array(PIL.Image.Image) numpy 转换成PIL.Image.Image Image.fromarray(numpy.ndarray) 首先需要保证numpy.ndarray 转换成np.uint8型 numpy.astype(np.uint8),像素值[0,255]. 同时灰

  • Pytorch之Tensor和Numpy之间的转换的实现方法

    为什么要相互转换: 1. 要对tensor进行操作,需要先启动一个Session,否则,我们无法对一个tensor比如一个tensor常量重新赋值或是做一些判断操作,所以如果将它转化为numpy数组就好处理了.下面一个小程序讲述了将tensor转化为numpy数组,以及又重新还原为tensor: 2. Torch的Tensor和numpy的array会共享他们的存储空间,修改一个会导致另外的一个也被修改. 学习链接:https://github.com/chenyuntc/pytorch-boo

  • pytorch numpy list类型之间的相互转换实例

    如下所示: import torch from torch.autograd import Variable import numpy as np ''' pytorch中Variable与torch.Tensor类型的相互转换 ''' # 1.torch.Tensor转换成Variablea=torch.randn((5,3)) b=Variable(a) print('a',a.type(),a.shape) print('b',type(b),b.shape) # 2.Variable转换

  • 浅谈pytorch和Numpy的区别以及相互转换方法

    如下所示: # -*- coding: utf-8 -*- # @Time : 2018/1/17 16:37 # @Author : Zhiwei Zhong # @Site : # @File : Numpy_Pytorch.py # @Software: PyCharm import torch import numpy as np np_data = np.arange(6).reshape((2, 3)) # numpy 转为 pytorch格式 torch_data = torch.

  • pytorch 实现tensor与numpy数组转换

    看代码,tensor转numpy: a = torch.ones(2,2) b = a.numpy() c=np.array(a) #也可以转numpy数组 print(type(a)) print(type(b)) print(a) print(b) 输出为: <class 'torch.Tensor'> <class 'numpy.ndarray'> tensor([[1., 1.], [1., 1.]]) [[1. 1.] [1. 1.]] numpy转tensor: imp

  • 解决Numpy与Pytorch彼此转换时的坑

    前言 ​   最近使用 Numpy包与Pytorch写神经网络时,经常需要两者彼此转换,故用此笔记记录码代码时踩(菜)过的坑,网上有人说: Pytorch 又被称为 GPU 版的 Numpy,二者的许多功能都有良好的一一对应. ​但在使用时还是得多多注意,一个不留神就陷入到了 一根烟一杯酒,一个Bug找一宿 的地步. 1.1.numpy --> torch ​   使用 torch.from_numpy() 转换,需要注意,两者共享内存.例子如下: import torch import num

  • Java String转换时为null的解决方法

    开发中经常遇到从集合类List.Map中取出数据转换为String的问题,这里如果处理不好,经常会遇到空指针异常java.lang.NullPointerException,在此总结一下常用转换为String的方法,以及转换后如何对其进行判null使用的问题. Java中对象转换为String的常用方法: 方法一:String  objStr  =  (String) obj: 强制类型转换,对象obj为null,结果也为null,但是obj必须保证其本质是String类型的值,即可转换的值.

  • 教你两步解决conda安装pytorch时下载速度慢or超时的问题

    目录 1.为conda配置清华源 2.创建新的虚拟环境(若已创建,请忽略) 3.激活虚拟环境 4.安装pytorch 1.为conda配置清华源 打开cmd输入以下命令: conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/

  • 解决numpy矩阵相减出现的负值自动转正值的问题

    问题描述 今天在使用Numpy中的矩阵做相减操作时,出现了一些本应为负值的位置自动转换为了正值, 观察发现转换后的正值为原本的负值加上256得到,具体情况如下: 正常情况矩阵相减样例如下 >>> import numpy as np >>> arr = np.array([98,100,103,161,192,210]) >>> brr = np.array([105,105,106,197,196,195]) >>> crr = a

  • 彻底解决pip下载pytorch慢的问题方法

    彻底解决pip下载pytorch慢的问题方法

    前言   在使用pip install下载package的时候,换成国内的镜像源可解决速度慢的问题,但pytorch还是很慢,这几天尝试了一种新方法,可以彻底解决这个问题.先附上国内的一些镜像源吧: https://pypi.douban.com/simple/ # 使用豆瓣源 http://mirrors.aliyun.com/pypi/simple/ # 阿里云 https://pypi.mirrors.ustc.edu.cn/simple/ # 中国科技大学 http://pypi.dou

  • 完美解决gson将Integer默认转换成Double的问题

    首先javascript只有这些个类型: 1.Number 在JavaScript中的双精度浮点格式 2.String 双引号的反斜杠转义的Unicode 3.Boolean true 或 false 4.Array 值的有序序列 5.Value 它可以是一个字符串,一个数字,真的还是假(true/false),空(null )等 6.Object 无序集合键值对 7.Whitespace 可以使用任何一对中的令牌 8.null empty 所以可以得出结论其实在javascript中20和20

  • 解决Numpy中sum函数求和结果维度的问题

    使用Numpy(下面简称np)中的sum函数对某一维度求和时,由于该维度会在求和后变成一个数,所以所得结果的这一维度为空. 比如下面的例子: a = np.array([[1,2,3],[4,5,6]]) b = np.sum(a,axis=1) print(b.shape) # (2,) 所以,对于一个shape为(2,3)的数组,在默认情况下使用np.sum函数求和后得到的结果shape是 (2,),如果我们想得到的是(2,1)的shape怎么办?比如Ng的深度学习编程练习中Course 1

  • Pytorch测试神经网络时出现 RuntimeError:的解决方案

    Pytorch测试神经网络时出现 RuntimeError:的解决方案

    Pytorch测试神经网络时出现"RuntimeError: Error(s) in loading state_dict for Net" 解决方法: load_state_dict(torch.load('net.pth') 在前,增加 model = nn.DataParallel(model) 就可以了. 比如 net = NET() net.cuda() net = nn.DataParallel(net) net.load_state_dict(torch.load('ne

  • MySQL中隐式转换的踩坑记录以及解决方法分享

    MySQL中隐式转换的踩坑记录以及解决方法分享

    目录 复现当时的情景 根源所在 隐式转换的规则 避免进行隐式转换 本来是一个平静而美好的下午,其他部门的同事要一份数据报表临时汇报使用,因为系统目前没有这个维度的功能,所以需要写个SQL马上出一下,一个同事接到这个任务,于是开始在测试环境拼装这条 SQL,刚过了几分钟,同事已经自信的写好了这条SQL,于是拿给DBA,到线上跑一下,用客户端工具导出Excel 就好了,毕竟是临时方案嘛. 就在SQL执行了之后,意外发生了,先是等了一下,发现还没执行成功,猜测可能是数据量大的原因,但是随着时间滴滴答答

  • 解决anaconda安装pytorch报错找不到包的问题

    目录 前言 状况描述: 问题描述 解决办法: 前言 使用anaconda 命令安装pytorch包的问题,以下给出解决办法. 状况描述: 由于是第一次接触安装,看了很多篇文章,也遇到了一些坑,在此总结一下. 安装pytorch,从硬件上分为2个版本,一个是cpu,一个是gpu(显卡).gpu版本可以加速训练效果. 由于本人的电脑比较旧,显卡是rtx1050,我安装了cuda9.0版本+cudnn+pytorch(torch+torchvision) 本人安装的是gpu版本的,在这个过程中,走了一

随机推荐