使用K.function()调试keras操作

Keras的底层库使用Theano或TensorFlow，这两个库也称为Keras的后端。无论是Theano还是TensorFlow，都需要提前定义好网络的结构，也就是常说的“计算图”。

在运行前需要对计算图编译，然后才能输出结果。那这里面主要有两个问题，第一是这个图结构在运行中不能任意更改，比如说计算图中有一个隐含层，神经元的数量是100，你想动态的修改这个隐含层神经元的数量那是不可以的；第二是调试困难，keras没有内置的调试工具，所以计算图的中间结果是很难看到的，一旦最终输出跟预想不一致，很难找到问题所在。

这里谈一谈本人调试keras的一些经验：

分阶段构建你的神经网络

不要一口气把整个网络全部写完，这样很难保证中间结果的正确性。加如一个CNN文本分类模型是这样的（如下代码），应该在加了Embedding层后，停止，打印一下中间结果，看看跟embedding向量能不能对上，输出的shape对不对。对上了再进行下一步操作。

有的人觉得这样很浪费时间，但是除非你能一遍写对，否则你将花上5倍的时间发现错误。

 # model parameters:
 embedding_dims = 50
 cnn_filters = 100
 cnn_kernel_size = 5
 dense_hidden_dims = 200
 model = Sequential()
 model.add(Embedding(nb_words,embedding_dims,input_length=maxlen))
 model.add(Dropout(0.5))
 model.add(Conv1D(cnn_filters, cnn_kernel_size,padding='valid', activation='relu'))
 model.add(GlobalMaxPooling1D())
 model.add(Dense(dense_hidden_dims))
 model.add(Dropout(0.5))
 model.add(Activation('relu'))
 model.add(Dense(1))
 model.add(Activation('sigmoid'))
 return model

使用K.function()函数打印中间结果

function函数可以接收传入数据，并返回一个numpy数组。使用这个函数我们可以方便地看到中间结果，尤其对于变长输入的Input。

下面是官方关于function的文档。

function

keras.backend.function(inputs, outputs, updates=None)

实例化 Keras 函数。

参数

inputs: 占位符张量列表。

outputs: 输出张量列表。

updates: 更新操作列表。

**kwargs: 需要传递给 tf.Session.run 的参数。

返回

输出值为 Numpy 数组。

异常

ValueError: 如果无效的 kwargs 被传入。

example

下面这个例子是打印一个LSTM层的中间结果，值得注意的是这个LSTM的sequence是变长的，可以看到输出的结果sequence长度分别是64和128

 import keras.backend as K
 from keras.layers import LSTM, Input
 import numpy as np

 I = Input(shape=(None, 200))
 lstm = LSTM(20, return_sequences=True)
 f = K.function(inputs=[I], outputs=[lstm(I)])

 data1 = np.random.random(size=(2, 64, 200))
 print(f([data1])[0].shape)

 data2 = np.random.random(size=(2, 128, 200))
 print(f([data2])[0].shape)

 K.clear_session()

 # (2, 64, 20)
 # (2, 128, 20)

其他的调试技巧

有频繁张量变换操作的，如dot, mat, reshape等等，记得加一行形状变化的注释，如（100， 128）--> (100, 64)

可以使用tensorboard查看网络的参数情况

确保你的数据没有问题，很多时候输出不对不是神经网络有问题，而是数据有问题

以上这篇使用K.function()调试keras操作就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • keras读取h5文件load_weights、load代码操作

    关于保存h5模型.权重网上的示例非常多,也非常简单.主要有以下两个函数: 1.keras.models.load_model() 读取网络.权重 2.keras.models.load_weights() 仅读取权重 load_model代码包含load_weights的代码,区别在于load_weights时需要先有网络.并且load_weights需要将权重数据写入到对应网络层的tensor中. 下面以resnet50加载h5权重为例,示例代码如下 import keras from ker

  • Keras之自定义损失(loss)函数用法说明

    在Keras中可以自定义损失函数,在自定义损失函数的过程中需要注意的一点是,损失函数的参数形式,这一点在Keras中是固定的,须如下形式: def my_loss(y_true, y_pred): # y_true: True labels. TensorFlow/Theano tensor # y_pred: Predictions. TensorFlow/Theano tensor of the same shape as y_true . . . return scalar #返回一个标量

  • 使用Keras加载含有自定义层或函数的模型操作

    当我们导入的模型含有自定义层或者自定义函数时,需要使用custom_objects来指定目标层或目标函数. 例如: 我的一个模型含有自定义层"SincConv1D",需要使用下面的代码导入: from keras.models import load_model model = load_model('model.h5', custom_objects={'SincConv1D': SincConv1D}) 如果不加custom_objects指定目标层Layer,则会出现以下报错:

  • 使用Keras 实现查看model weights .h5 文件的内容

    Keras的模型是用hdf5存储的,如果想要查看模型,keras提供了get_weights的函数可以查看: for layer in model.layers: weights = layer.get_weights() # list of numpy array 而通过hdf5模块也可以读取:hdf5的数据结构主要是File - Group - Dataset三级,具体操作API可以看官方文档.weights的tensor保存在Dataset的value中,而每一集都会有attrs保存各网络

  • 使用K.function()调试keras操作

    Keras的底层库使用Theano或TensorFlow,这两个库也称为Keras的后端.无论是Theano还是TensorFlow,都需要提前定义好网络的结构,也就是常说的"计算图". 在运行前需要对计算图编译,然后才能输出结果.那这里面主要有两个问题,第一是这个图结构在运行中不能任意更改,比如说计算图中有一个隐含层,神经元的数量是100,你想动态的修改这个隐含层神经元的数量那是不可以的:第二是调试困难,keras没有内置的调试工具,所以计算图的中间结果是很难看到的,一旦最终输出跟预

  • keras K.function获取某层的输出操作

    如下所示: from keras import backend as K from keras.models import load_model models = load_model('models.hdf5') image=r'image.png' images=cv2.imread(r'image.png') image_arr = process_image(image, (224, 224, 3)) image_arr = np.expand_dims(image_arr, axis=

  • ThinkPHP框架获取最后一次执行SQL语句及变量调试简单操作示例

    本文实例讲述了ThinkPHP框架获取最后一次执行SQL语句及变量调试简单操作.分享给大家供大家参考,具体如下: ThinkPHP中获取最后一次执行sql语句的 方法有两种: 其一是 调用模型 获取 如: $sql = $model ->getLastSql(); Thinkphp中Model类,有getLastSql这个函数,甚至还有,getLastInsID,getDbError,getError,getPk,getDbFields等函数.这些函数都是我们经常可能会用到的model层的函数.

  • PHP堆栈调试操作简单示例

    本文实例讲述了PHP堆栈调试操作.分享给大家供大家参考,具体如下: 你是否想知道当前函数被哪些文件调用了,如果知道了这些路径,我们就能很好的理解程序的执行过程,这是非常重要的,也是了解别人程序的基础,那么这里我就给大家介绍一种php中的堆栈调试的方法,其实就是php内置的一个函数debug_backtrace(); 下面是就稍微介绍一下吧,具体还是要看手册哦,喜欢看手册的程序员才是前途无量的 $statcks = debug_backtrace(); $tmp_arr = array(); if

  • 解决Keras中循环使用K.ctc_decode内存不释放的问题

    如下一段代码,在多次调用了K.ctc_decode时,会发现程序占用的内存会越来越高,执行速度越来越慢. data = generator(...) model = init_model(...) for i in range(NUM): x, y = next(data) _y = model.predict(x) shape = _y.shape input_length = np.ones(shape[0]) * shape[1] ctc_decode = K.ctc_decode(_y,

  • Keras在mnist上的CNN实践,并且自定义loss函数曲线图操作

    Keras在mnist上的CNN实践,并且自定义loss函数曲线图操作

    使用keras实现CNN,直接上代码: from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout, Activation, Flatten from keras.layers import Convolution2D, MaxPooling2D from keras.utils import np_utils from keras imp

  • eval(function(p,a,c,k,e,d)系列解密javascript程序

    步骤:1.新建html页面,把以下代码考进去,运行. 2.把加密的代码粘进文本域,点击解密,OK! 核心代码: 复制代码 代码如下: <script> a=62; function encode() { var code = document.getElementById('code').value; code = code.replace(/[\r\n]+/g, ''); code = code.replace(/'/g, "\\'"); var tmp = code.m

  • 浅谈keras中的后端backend及其相关函数(K.prod,K.cast)

    一.K.prod prod keras.backend.prod(x, axis=None, keepdims=False) 功能:在某一指定轴,计算张量中的值的乘积. 参数 x: 张量或变量. axis: 一个整数需要计算乘积的轴. keepdims: 布尔值,是否保留原尺寸. 如果 keepdims 为 False,则张量的秩减 1. 如果 keepdims 为 True,缩小的维度保留为长度 1. 返回 x 的元素的乘积的张量. Numpy 实现 def prod(x, axis=None

  • IntelliJ IDEA中如何调试Java Stream操作

    IntelliJ IDEA中如何调试Java Stream操作

    目录 插件:Java Stream Debugger 调试Stream操作 Stream操作是Java 8推出的一大亮点!虽然java.util.stream很强大,但依然还是有很多开发者在实际工作中很少使用,其中吐槽最多的一个原因就是不好调试,一开始确实是这样,因为stream这样的流式操作在DEBUG的时候,是一行代码,直接下一步的时候,其实一下就过去了好多操作,这样我们就很难判断到底是里面的哪一行出了问题.不过,现在的话,在强大的IDEA插件支持下,stream的调试其实也没那么难了,下面

  • keras得到每层的系数方式

    使用keras搭建好一个模型,训练好,怎么得到每层的系数呢: weights = np.array(model.get_weights()) print(weights) print(weights[0].shape) print(weights[1].shape) 这样系数就被存放到一个np中了. 补充知识:使用keras框架编写的深度模型 输出及每一层的特征可视化 使用训练好的模型进行预测的时候,为分析效果,通常需要对特征提取过程中的特征映射做可视化操作 本文以keras为例,对特征可视化操

随机推荐