TensorFlow中权重的随机初始化的方法

一开始没看懂stddev是什么参数，找了一下，在tensorflow/python/ops里有random_ops，其中是这么写的：

def random_normal(shape, mean=0.0, stddev=1.0, dtype=types.float32,
         seed=None, name=None):
 """Outputs random values from a normal distribution.

 Args:
  shape: A 1-D integer Tensor or Python array. The shape of the output tensor.
  mean: A 0-D Tensor or Python value of type `dtype`. The mean of the normal
   distribution.
  stddev: A 0-D Tensor or Python value of type `dtype`. The standard deviation
   of the normal distribution.
  dtype: The type of the output.
  seed: A Python integer. Used to create a random seed for the distribution.
   See
   [`set_random_seed`](../../api_docs/python/constant_op.md#set_random_seed)
   for behavior.
  name: A name for the operation (optional).

 Returns:
  A tensor of the specified shape filled with random normal values.
 """

也就是按照正态分布初始化权重，mean是正态分布的平均值，stddev是正态分布的标准差（standard deviation），seed是作为分布的random seed（随机种子，我百度了一下，跟什么伪随机数发生器还有关，就是产生随机数的），在mnist/concolutional中seed赋值为66478，挺有意思，不知道是什么原理。

后面还有truncated_normal的定义：

def truncated_normal(shape, mean=0.0, stddev=1.0, dtype=types.float32,
           seed=None, name=None):
 """Outputs random values from a truncated normal distribution.

 The generated values follow a normal distribution with specified mean and
 standard deviation, except that values whose magnitude is more than 2 standard
 deviations from the mean are dropped and re-picked.

 Args:
  shape: A 1-D integer Tensor or Python array. The shape of the output tensor.
  mean: A 0-D Tensor or Python value of type `dtype`. The mean of the
   truncated normal distribution.
  stddev: A 0-D Tensor or Python value of type `dtype`. The standard deviation
   of the truncated normal distribution.
  dtype: The type of the output.
  seed: A Python integer. Used to create a random seed for the distribution.
   See
   [`set_random_seed`](../../api_docs/python/constant_op.md#set_random_seed)
   for behavior.
  name: A name for the operation (optional).

 Returns:
  A tensor of the specified shape filled with random truncated normal values.
 """

截断正态分布，以前都没听说过。

TensorFlow还提供了平均分布等。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

您可能感兴趣的文章:

  • tensorflow输出权重值和偏差的方法
赞 (0)

相关推荐

  • tensorflow输出权重值和偏差的方法

    使用tensorflow 训练模型时,我们可以使用 tensorflow自带的 Save模块 tf.train.Saver()来保存模型,使用方式很简单 就是在训练完模型后,调用saver.save()即可 saver = tf.train.Saver(write_version=tf.train.SaverDef.V2) saver.save(sess, save_dir+"crfmodel.ckpt", global_step=0) 重新载入模型 saver = tf.train.

  • TensorFlow中权重的随机初始化的方法

    一开始没看懂stddev是什么参数,找了一下,在tensorflow/python/ops里有random_ops,其中是这么写的: def random_normal(shape, mean=0.0, stddev=1.0, dtype=types.float32, seed=None, name=None): """Outputs random values from a normal distribution. Args: shape: A 1-D integer Te

  • Java权重随机的实现方法

    本文实例讲述了Java权重随机的实现方法.分享给大家供大家参考.具体分析如下: 权重随机在项目中经常用到,所以我把它抽象到一个工具类中. 一般实现随机权重有两种方式: 1. 使用一个数组存放权重对应的实际目标,比如A的权重是2,B的权重是3,那么数组长度为5, 数组前两个存放A,后三个存放B. 然后随机一个[0-数据长度)的数字,直接取数组对应下标的值就可以了. 优点:数据结构简单,算法高效,实现简单 缺点:当权重值比较大同时数据又比较多的时候,会浪费内存 2. 使用区间算法,从前到后依次叠加权

  • 对Tensorflow中的变量初始化函数详解

    Tensorflow 提供了7种不同的初始化函数: tf.constant_initializer(value) #将变量初始化为给定的常量,初始化一切所提供的值. 假设在卷积层中,设置偏执项b为0,则写法为: 1. bias_initializer=tf.constant_initializer(0) 2. bias_initializer=tf.zeros_initializer(0) tf.random_normal_initializer(mean,stddev) #功能是将变量初始化为

  • 关于tensorflow的几种参数初始化方法小结

    在tensorflow中,经常会遇到参数初始化问题,比如在训练自己的词向量时,需要对原始的embeddigs矩阵进行初始化,更一般的,在全连接神经网络中,每层的权值w也需要进行初始化. tensorlfow中应该有一下几种初始化方法 1. tf.constant_initializer() 常数初始化 2. tf.ones_initializer() 全1初始化 3. tf.zeros_initializer() 全0初始化 4. tf.random_uniform_initializer()

  • 在Tensorflow中查看权重的实现

    刚开始学习tensorflow,还不太会用,开个博记录,今天遇到一个问题是用tf.layers.dense创建的全连接层,如何查看权重? 知道kernel表示了权重,但是如何提示成变量? 我分成两步: 1.查看tensor:tf.trainable_variables() 命令行里中运行即可,如下图: 可以看到tensor的name,或用更简洁的方式:variable_name = [v.name for v in tf.trainable_variables()] 运行后,trainable_

  • Python在字典中获取带权重的随机值实现方式

    一.前言 python在数组中随机取值有现成的方法,但是要给每个随机值被取到的概率加权重的话,可以参考下面这个方法 二.实现方式 import random def random_with_weight(data_dict): sum_wt = sum(data_dict.values()) # 计算权重和 sum_wt ra_wt = random.uniform(0, sum_wt) # 随机获取 0-sum_wt 之间的一个浮点数 ra_wt cur_wt = 0 for key in d

  • Tensorflow中的dropout的使用方法

    Hinton在论文<Improving neural networks by preventing co-adaptation of feature detectors>中提出了Dropout.Dropout用来防止神经网络的过拟合.Tensorflow中可以通过如下3中方式实现dropout. tf.nn.dropout def dropout(x, keep_prob, noise_shape=None, seed=None, name=None): 其中,x为浮点类型的tensor,ke

  • 解决pip安装tensorflow中出现的no module named tensorflow.python 问题方法

    解决pip安装tensorflow中出现的no module named tensorflow.python 问题方法

    由于本博文的浏览量已经破万了,看了一下是自己很久以前写的了,刚开始写博客,感觉废话一大堆.为了不浪费大家的时间,这里就直接说怎么解决问题的吧. 其实就是我自己装了一个python-pip,至于是自己下的安装包安装的还是python2自带的我也忘了,然后后来应该是又装了一个python3,结果用pip install tensorflow 就出现了这个问题,总之就是因为执行这个命令的时候,pip没将tensorflow装在python3的目录里,然后用的时候调用的python3,所以导致找不到.所

  • tensorflow入门之训练简单的神经网络方法

    这几天开始学tensorflow,先来做一下学习记录 一.神经网络解决问题步骤: 1.提取问题中实体的特征向量作为神经网络的输入.也就是说要对数据集进行特征工程,然后知道每个样本的特征维度,以此来定义输入神经元的个数. 2.定义神经网络的结构,并定义如何从神经网络的输入得到输出.也就是说定义输入层,隐藏层以及输出层. 3.通过训练数据来调整神经网络中的参数取值,这是训练神经网络的过程.一般来说要定义模型的损失函数,以及参数优化的方法,如交叉熵损失函数和梯度下降法调优等. 4.利用训练好的模型预测

随机推荐