TensorFlow实现指数衰减学习率的方法

在TensorFlow中，tf.train.exponential_decay函数实现了指数衰减学习率，通过这个函数，可以先使用较大的学习率来快速得到一个比较优的解，然后随着迭代的继续逐步减小学习率，使得模型在训练后期更加稳定。

tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase, name)函数会指数级地减小学习率，它实现了以下代码的功能：

#tf.train.exponential_decay函数可以通过设置staircase参数选择不同的学习率衰减方式

#staircase参数为False（默认）时，选择连续衰减学习率：
decayed_learning_rate = learning_rate * math.pow(decay_rate, global_step / decay_steps)

#staircase参数为True时，选择阶梯状衰减学习率：
decayed_learning_rate = learning_rate * math.pow(decay_rate, global_step // decay_steps)

①decayed_leaming_rate为每一轮优化时使用的学习率；

②leaming_rate为事先设定的初始学习率；

③decay_rate为衰减系数；

④global_step为当前训练的轮数；

⑤decay_steps为衰减速度，通常代表了完整的使用一遍训练数据所需要的迭代轮数，这个迭代轮数也就是总训练样本数除以每一个batch中的训练样本数，比如训练数据集的大小为128，每一个batch中样例的个数为8，那么decay_steps就为16。

当staircase参数设置为True，使用阶梯状衰减学习率时，代码的含义是每完整地过完一遍训练数据即每训练decay_steps轮，学习率就减小一次，这可以使得训练数据集中的所有数据对模型训练有相等的作用；当staircase参数设置为False，使用连续的衰减学习率时，不同的训练数据有不同的学习率，而当学习率减小时，对应的训练数据对模型训练结果的影响也就小了。

接下来看一看tf.train.exponential_decay函数应用的两种形态（省略部分代码）：

①第一种形态，global_step作为变量被优化，在这种形态下，global_step是变量，在minimize函数中传入global_step将自动更新global_step参数（global_step每轮迭代自动加一），从而使得学习率也得到相应更新：

import tensorflow as tf
 .
 .
 .
#设置学习率
global_step = tf.Variable(tf.constant(0))
learning_rate = tf.train.exponential_decay(0.01, global_step, 16, 0.96, staircase=True)
#定义反向传播算法的优化方法
train_step = tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy, global_step=global_step)
 .
 .
 .
#创建会话
with tf.Session() as sess:
 .
 .
 .
 for i in range(STEPS):
 .
 .
 .
  #通过选取的样本训练神经网络并更新参数
  sess.run(train_step, feed_dict={x:X[start:end], y_:Y[start:end]})
  .
 .
 .

②第二种形态，global_step作为占位被feed，在这种形态下，global_step是占位，在调用sess.run(train_step)时使用当前迭代的轮数i进行feed：

import tensorflow as tf
 .
 .
 .
#设置学习率
global_step = tf.placeholder(tf.float32, shape=())
learning_rate = tf.train.exponential_decay(0.01, global_step, 16, 0.96, staircase=True)
#定义反向传播算法的优化方法
train_step = tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy)
 .
 .
 .
#创建会话
with tf.Session() as sess:
 .
 .
 .
 for i in range(STEPS):
 .
 .
 .
  #通过选取的样本训练神经网络并更新参数
  sess.run(train_step, feed_dict={x:X[start:end], y_:Y[start:end], global_step:i})
 .
 .
 .

总结

以上所述是小编给大家介绍的TensorFlow实现指数衰减学习率的方法，希望对大家有所帮助！

赞 (0)

相关推荐

  • tensorflow 恢复指定层与不同层指定不同学习率的方法

    如下所示: #tensorflow 中从ckpt文件中恢复指定的层或将指定的层不进行恢复: #tensorflow 中不同的layer指定不同的学习率 with tf.Graph().as_default(): #存放的是需要恢复的层参数 variables_to_restore = [] #存放的是需要训练的层参数名,这里是没恢复的需要进行重新训练,实际上恢复了的参数也可以训练 variables_to_train = [] for var in slim.get_model_variable

  • TensorFlow实现指数衰减学习率的方法

    TensorFlow实现指数衰减学习率的方法

    在TensorFlow中,tf.train.exponential_decay函数实现了指数衰减学习率,通过这个函数,可以先使用较大的学习率来快速得到一个比较优的解,然后随着迭代的继续逐步减小学习率,使得模型在训练后期更加稳定. tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase, name)函数会指数级地减小学习率,它实现了以下代码的功能: #tf.train.exp

  • 有关Tensorflow梯度下降常用的优化方法分享

    1.tf.train.exponential_decay() 指数衰减学习率: #tf.train.exponential_decay(learning_rate, global_steps, decay_steps, decay_rate, staircase=True/False): #指数衰减学习率 #learning_rate-学习率 #global_steps-训练轮数 #decay_steps-完整的使用一遍训练数据所需的迭代轮数:=总训练样本数/batch #decay_rate-

  • TensorFlow安装及jupyter notebook配置方法

    tensorflow利用anaconda在ubuntu下安装方法及jupyter notebook运行目录及远程访问配置 Ubuntu下安装Anaconda bash ~/file_path/file_name.sh 出现许可后可按Ctrl+C跳过,yes同意. 安装完成后询问是否加入path路径,亦可自行修改文件内容 关闭命令台重开 python -V 可查看是否安装成功 修改anaconda的python版本,以符合tf要求 conda install python=3.5 Anaconda

  • TensorFlow Session使用的两种方法小结

    TensorFlow Session 在TensorFlow中是通过session进行交互的,使用session有两种方法.下面通过一个简单的例子(两个矩阵相乘)说一下 {[3,1] 与{[5,2] 相乘 [1,2]} [2,4]} 代码 #encoding=utf-8 import tensorflow as tf matrix1 = tf.constant([[3,1],[1,2]]) matrix2 = tf.constant([[5,2],[2,4]]) product = tf.mat

  • 基于tensorflow加载部分层的方法

    一般使用 saver.restore(sess, modeldir + "model.ckpt") 即可加载已经训练好的网络,可是有时候想值使用部分层的参数,这时候可以选择在加载网络之后重新初始化剩下的层 var_list = [weights['wd1'], weights['out'], biases['bd1'], biases['out'], global_step] initfc = tf.variables_initializer(var_list, name='init'

  • tensorflow 打印内存中的变量方法

    法一: 循环打印 模板 for (x, y) in zip(tf.global_variables(), sess.run(tf.global_variables())): print '\n', x, y 实例 # coding=utf-8 import tensorflow as tf def func(in_put, layer_name, is_training=True): with tf.variable_scope(layer_name, reuse=tf.AUTO_REUSE):

  • TensorFlow打印tensor值的实现方法

    最近一直在用TF做CNN的图像分类,当softmax层得到预测结果后,我希望能够看到预测结果,以便和标签之间进行比较.特此补上,以便自己记忆. 我现在通过softmax层得到变量train_logits,如果我直接执行print(train_logits)时,得到的结果如下(因为我是134类分类,所以结果是(1,134)维): 这貌似什么都看不出来. 其实tensorflow提供输出中间值方法方便debug. 这个函数就是[tf.Print]. tf.Print( input_, data, m

  • 关于tensorflow的几种参数初始化方法小结

    在tensorflow中,经常会遇到参数初始化问题,比如在训练自己的词向量时,需要对原始的embeddigs矩阵进行初始化,更一般的,在全连接神经网络中,每层的权值w也需要进行初始化. tensorlfow中应该有一下几种初始化方法 1. tf.constant_initializer() 常数初始化 2. tf.ones_initializer() 全1初始化 3. tf.zeros_initializer() 全0初始化 4. tf.random_uniform_initializer()

  • Tensorflow中的dropout的使用方法

    Hinton在论文<Improving neural networks by preventing co-adaptation of feature detectors>中提出了Dropout.Dropout用来防止神经网络的过拟合.Tensorflow中可以通过如下3中方式实现dropout. tf.nn.dropout def dropout(x, keep_prob, noise_shape=None, seed=None, name=None): 其中,x为浮点类型的tensor,ke

随机推荐