使用Keras实现Tensor的相乘和相加代码

前言

最近在写行为识别的代码，涉及到两个网络的融合，这个融合是有加权的网络结果的融合，所以需要对网络的结果进行加权（相乘）和融合（相加）。

最初的想法

最初的想法是用Keras.layers.Add和Keras.layers.Multiply来做，后来发现这样会报错。

rate_rgb = k.variable(np.ones((1024,),dtype='float32')*0.8)
rate_esti = k.variable(np.ones((1024,),dtype='float32')*0.2)
weight_gru1 = Multiply()([rate_rgb,gru1])
weight_gru2 = Multiply()([rate_esti,gru2])
last = Add()([weight_gru1,weight_gru2])

这么写会报错，如下

AttributeError: 'Variable' object has no attribute '_keras_history'

正确做法

后来在网上参考大神的博客，改为如下

weight_1 = Lambda(lambda x:x*0.8)
weight_2 = Lambda(lambda x:x*0.2)
weight_gru1 = weight_1(gru1)
weight_gru2 = weight_2(gru2)
last = Add()([weight_gru1,weight_gru2])

这样就没问题了。

补充知识：Keras天坑：想当然的对层的直接运算带来的问题

天坑

keras如何操作某一层的值（如让某一层的值取反加1等）？keras如何将某一层的神经元拆分以便进一步操作（如取输入的向量的第一个元素乘别的层）？keras如何重用某一层的值（如输入层和输出层乘积作为最终输出）？

这些问题都指向同一个答案，即使用Lambda层。

另外，如果想要更加灵活地操作层的话，推荐使用函数式模型写法，而不是序列式。

Keras当中，任何的操作都是以网络层为单位，操作的实现都是新添一层，不管是加减一个常数还是做乘法，或者是对两层的简单拼接。所以，将一层单独劈一半出来，是一件难事。强调，Keras的最小操作单位是Layer，每次操作的是整个batch。自然，在keras中，每个层都是对象，可以通过dir(Layer对象)来查看具有哪些属性。然而，Backend中Tensorflow的最小操作单位是Tensor，而你搞不清楚到底是Layer和Tensor时，盲目而想当然地进行层的操作，就会出问题。到底是什么？通过type和shape是看不出来的。

如果你只是想对流经该层的数据做个变换，而这个变换本身没有什么需要学习的参数，那么直接用Lambda Layer是最合适的了。

也就是说，对每一层的加减乘除都得用keras的函数，你不能简单使用形如 ‘new_layer' =1−= 1-=1−'layer'这样的表达方式来对层进行操作。

当遇到如下报错信息：

AttributeError: 'NoneType' object has no attribute '_inbound_nodes'

或

TypeError: 'Tensor' object is not callable

等等

这是就要考虑一下将程序中层的操作改成Lambda的方式表达。

使用Lambda编写自己的层

Lamda层怎么用？官方文档给了这样一个例子。

# add a x -> x^2 layer
model.add(Lambda(lambda x: x ** 2))

# add a layer that returns the concatenation
# of the positive part of the input and
# the opposite of the negative part

def antirectifier(x):
  x -= K.mean(x, axis=1, keepdims=True)
  x = K.l2_normalize(x, axis=1)
  pos = K.relu(x)
  neg = K.relu(-x)
  return K.concatenate([pos, neg], axis=1)

def antirectifier_output_shape(input_shape):
  shape = list(input_shape)
  assert len(shape) == 2 # only valid for 2D tensors
  shape[-1] *= 2
  return tuple(shape)

model.add(Lambda(antirectifier,
     output_shape=antirectifier_output_shape))

乍一看，有点懵逼，什么乱七八糟的。事实上，很简单，假设L0和L1是两层，你只要将你形如下面这样的表达：

L1 = F(L0);

改成

L1 = Lambda( lambda L0:F(L0) ) (L0)

即可。为了看得清楚，多加了几个空格。

事实上，无非就是将原来的变换，通过Lambda（lambda 输入：表达式）这样的方式，改成了Lambda型函数，再把输入传进去，放在尾巴上即可。

参考

https://keras-cn.readthedocs.io/en/latest/layers/core_layer/#lambda

（个人觉得这份文档某些地方比官方中文要完整许多）

keras许多简单操作，都需要新建一个层，使用Lambda可以很好完成需求。当你不知道有这个东西存在的时候，就会走不少弯路。

以上这篇使用Keras实现Tensor的相乘和相加代码就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • Tensorflow矩阵运算实例(矩阵相乘,点乘,行/列累加)

    Tensorflow二维.三维.四维矩阵运算(矩阵相乘,点乘,行/列累加) 1. 矩阵相乘 根据矩阵相乘的匹配原则,左乘矩阵的列数要等于右乘矩阵的行数. 在多维(三维.四维)矩阵的相乘中,需要最后两维满足匹配原则. 可以将多维矩阵理解成:(矩阵排列,矩阵),即后两维为矩阵,前面的维度为矩阵的排列. 比如对于(2,2,4)来说,视为2个(2,4)矩阵. 对于(2,2,2,4)来说,视为2*2个(2,4)矩阵. import tensorflow as tf a_2d = tf.constant([

  • 基于python及pytorch中乘法的使用详解

    numpy中的乘法 A = np.array([[1, 2, 3], [2, 3, 4]]) B = np.array([[1, 0, 1], [2, 1, -1]]) C = np.array([[1, 0], [0, 1], [-1, 0]]) A * B : # 对应位置相乘 np.array([[ 1, 0, 3], [ 4, 3, -4]]) A.dot(B) : # 矩阵乘法 ValueError: shapes (2,3) and (2,3) not aligned: 3 (dim

  • Python 实现两个列表里元素对应相乘的方法

    方法一: 结合zip函数,使用map函数: List1 = [1,2,3,4] List2 = [5,6,7,8] List3 = map(lambda (a,b):a*b,zip(List1,List2)) print List3 方法二: 把列表转化为数组,使用np.multiply函数 List = [1,2,3] List2 = [5,6,7] List3 = np.multiply(np.array(List1),np.array(List2)) print List3.tolist(

  • 使用Keras实现Tensor的相乘和相加代码

    前言 最近在写行为识别的代码,涉及到两个网络的融合,这个融合是有加权的网络结果的融合,所以需要对网络的结果进行加权(相乘)和融合(相加). 最初的想法 最初的想法是用Keras.layers.Add和Keras.layers.Multiply来做,后来发现这样会报错. rate_rgb = k.variable(np.ones((1024,),dtype='float32')*0.8) rate_esti = k.variable(np.ones((1024,),dtype='float32')

  • keras读取h5文件load_weights、load代码操作

    关于保存h5模型.权重网上的示例非常多,也非常简单.主要有以下两个函数: 1.keras.models.load_model() 读取网络.权重 2.keras.models.load_weights() 仅读取权重 load_model代码包含load_weights的代码,区别在于load_weights时需要先有网络.并且load_weights需要将权重数据写入到对应网络层的tensor中. 下面以resnet50加载h5权重为例,示例代码如下 import keras from ker

  • Keras实现支持masking的Flatten层代码

    不知道为什么,我总是需要实现某种骚操作,而这种骚操作往往是Keras不支持的.例如,我有一个padding过的矩阵,那么它一定是带masking的,然后我想要把它Flatten,再输入到Dense层.然而Keras的Flatten层不支持masking. Keras原本Flatten的实现 class Flatten(Layer): def __init__(self, **kwargs): super(Flatten, self).__init__(**kwargs) self.input_s

  • java编程实现两个大数相加代码示例

    通常情况,实现大数运算是通过BigInteger和BigDecimal两种方法.这两种方法分别表示不可变的任意精度的整数和不可变的有符号的任意精度的十进制数(浮点数).主要用于高精度计算中.这两个类使得java中的大数,高精度运算变得很简单.但本文介绍的并不是通过上述两种方法实现Java中的大数运算. 主要的思想是:把两个数存在String中了,然后将每个数字取出,放到数组,由最末位开始计算,算加法,判断是否进位,进位则前位+1,若超过长度,则copy到新的数组. 代码如下: public cl

  • JavaScript大数相加相乘的实现方法实例

    前言 JavaScript 中的最大安全整数是 2 ^{53} – 1 ,即 9007199254740991,当我们进行超出这个范围的数值计算的时候就无法得到精确的值,而是一个近似值,比如我们计算 9007199254740991 + 10 得到的结果是 9007199254741000.本文讲一下如何利用字符串在 JavaScript 中实现大数相加相乘. 相加 用字符串实现相加相乘基本思路就是按照我们在纸上进行竖式运算一样.对于加法,我们需要将两个数 num1 和 num2 上下对齐,然后

  • C++实现大数相乘算法

    C++实现大数相乘算法

    本文实例为大家分享了C++实现大数相乘的具体代码,供大家参考,具体内容如下 首先说一下乘法计算的算法:同样是模拟人工计算时的方法. 从低位向高位乘,在竖式计算中,我们是将乘数第一位与被乘数的每一位相乘,记录结果之后,用第二位相乘,记录结果并且左移一位,以此类推,直到计算完最后一位,再将各项结果相加,得出最后结果. 计算的过程基本上和小学生列竖式做乘法相同.为编程方便,并不急于处理进位,而将进位问题留待最后统一处理. 我们以125*53为例来说明计算过程: 1.先算125*3,3*5得到15个1,

  • Pytorch Tensor基本数学运算详解

    1. 加法运算 示例代码: import torch # 这两个Tensor加减乘除会对b自动进行Broadcasting a = torch.rand(3, 4) b = torch.rand(4) c1 = a + b c2 = torch.add(a, b) print(c1.shape, c2.shape) print(torch.all(torch.eq(c1, c2))) 输出结果: torch.Size([3, 4]) torch.Size([3, 4]) tensor(1, dt

  • keras.layer.input()用法说明

    tenserflow建立网络由于先建立静态的graph,所以没有数据,用placeholder来占位好申请内存. 那么keras的layer类其实是一个方便的直接帮你建立深度网络中的layer的类. 该类继承了object,是个基础的类,后续的诸如input_layer类都会继承与layer 由于model.py中利用这个方法建立网络,所以仔细看一下:他的说明详尽而丰富. input()这个方法是用来初始化一个keras tensor的,tensor说白了就是个数组.他强大到之通过输入和输出就能

  • 解决TensorFlow调用Keras库函数存在的问题

    tensorflow在1.4版本引入了keras,封装成库.现想将keras版本的GRU代码移植到TensorFlow中,看到TensorFlow中有Keras库,大喜,故将神经网络定义部分使用Keras的Function API方式进行定义,训练部分则使用TensorFlow来进行编写.一顿操作之后,运行,没有报错,不由得一喜.但是输出结果,发现,和预期的不一样.难道是欠拟合?故采用正弦波预测余弦来验证算法模型. 部分调用keras库代码如上图所示,用正弦波预测余弦波,出现如下现象: def

  • C语言实现两个矩阵相乘

    本文实例为大家分享了C语言实现两个矩阵相乘的具体代码,供大家参考,具体内容如下 程序功能:实现两个矩阵相乘的C语言程序,并将其输出 代码如下: #include "stdafx.h" #include "windows.h" void Multi(int * left, int * right, int * result, int f1, int f2, int s1, int s2); int main() { int i, j; int a[4][3] = {

随机推荐