记录模型训练时loss值的变化情况

记录训练过程中的每一步的loss变化

 if verbose and step % verbose == 0:
 sys.stdout.write('\r{} / {} : loss = {}'.format(
  step, total_steps, np.mean(total_loss)))
 sys.stdout.flush()
 if verbose:
 sys.stdout.write('\r')
 sys.stdout.flush()

一般我们在训练神经网络模型的时候，都是每隔多少步，输出打印一下loss或者每一步打印一下loss，今天发现了另一种记录loss变化的方法，就是用

sys.stdout.write('\r{} / {} : loss = {}')

如图上的代码，可以记录每一个在每个epoch中记录用一行输出就可以记录每个step的loss值变化，

\r就是输出不会换行，因此如果你想同一样输出多次，在需要输出的字符串对象里面加上"\r",就可以回到行首了。

sys.stdout.flush() #一秒输出了一个数字

具体的实现就是下面的图：

这样在每个epoch中也可以观察loss变化，但是只需要打印一行，而不是每一行都输出。

补充知识：训练模型中损失（loss）异常分析

前言

训练模型过程中随时都要注意目标函数值(loss)的大小变化。一个正常的模型loss应该随训练轮数（epoch）的增加而缓慢下降，然后趋于稳定。虽然在模型训练的初始阶段，loss有可能会出现大幅度震荡变化，但是只要数据量充分，模型正确，训练的轮数足够长，模型最终会达到收敛状态，接近最优值或者找到了某个局部最优值。在模型实际训练过程中，可能会得到一些异常loss值，如loss等于nan；loss值忽大忽小，不收敛等。

下面根据自己使用Pythorh训练模型的经验，分析出一些具体原因和给出对应的解决办法。

一、输入数据

1. 数据的预处理

输入到模型的数据一般都是经过了预处理的，如用pandas先进行数据处理，尤其要注意空值，缺失值，异常值。

缺失值：数值类型（NaN），对象类型（None, NaN），时间类型（NaT）

空值：""

异常值：不再正常区间范围的值

例如对缺失值可以进行判断df.isnull()或者df.isna()；丢弃df.dropna()；填充df.fillna()等操作。

输入到模型中的数据一般而言都是数值类型的值，一定要保证不能出现NaN, numpy中的nan是一种特殊的float,该值数值运算的结果是不正常的，所以可能会导致loss值等于nan。可以用numpy.any(numpy.isnan(x))检查一下input和target。

2. 数据的读写

例如使用Pandas读取.csv类型的数据得到的DataFrame会添加默认的index,再写回到磁盘会多一列。如果用其他读取方式再读入，可能会导致数据有问题，读取到NaN。

import pandas as pd

Output = pd.read_csv('./data/diabetes/Output.csv')
trainOutput, testOutput = Output[:6000], Output[6000:]
trainOutput.to_csv('./data/diabetes/trainOutput.csv')
testOutput.to_csv('./data/diabetes/testOutput.csv')

3. 数据的格式

Pythorch中的 torch.utils.data.Dataset 类是一个表示数据集的抽象类。自己数据集的类应该继承自 Dataset 并且重写__len__方法和__getitem__方法:

__len__ ： len(dataset) 返回数据集的大小

__getitem__ ：用以支持索引操作， dataset[idx]能够返回第idx个样本数据

然后使用torch.utils.data.DataLoader 这个迭代器(iterator)来遍历所有的特征。具体可以参见这里

在构造自己Dataset类时，需要注意返回的数据格式和类型，一般不会出现NaN的情况但是可能会导致数据float, int, long这几种类型的不兼容，注意转换。

二、学习率

基于梯度下降的优化方法，当学习率太高时会导致loss值不收敛，太低则下降缓慢。需要对学习率等超参数进行调参如使用网格搜索，随机搜索等。

三、除零错

对于回归问题，可能出现了除0 的计算，加一个很小的余项可能可以解决。类似于计算概率时进行的平滑修正，下面的代码片段中loss使用交叉混合熵（CossEntropy），计算3分类问题的AUC值，为了避免概率计算出现ＮaN而采取了相应的平滑处理。

from sklearn.metrics import roc_auc_score

model_ft, y_true, losslists = test_model(model_ft, criterion, optimizer)
n_class = 3
y_one_hot = np.eye(n_class)[y_true.reshape(-1)]
# solve divide zero errot
eps = 0.0000001
y_scores = losslists / (losslists.sum(axis=1, keepdims=True)+eps)
#print(y_scores)
#print(np.isnan(y_scores))
"""
metrics.roc_auc_score(y_one_hot, y_pred)
"""
print("auc: ")
roc_auc_score(y_one_hot, y_scores)

四、loss函数

loss函数代码编写不正确或者已经编写好的loss函数API使用不清楚

五、某些易错代码

Pytorch在进行自动微分的时候，默认梯度是会累加的，所以需要在每个epoch的每个batch中对梯度清零，否则可能会导致loss值不收敛。不要忘记添加如下代码

optimizer.zero_grad()

以上这篇记录模型训练时loss值的变化情况就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • keras 自定义loss损失函数,sample在loss上的加权和metric详解

    首先辨析一下概念: 1. loss是整体网络进行优化的目标, 是需要参与到优化运算,更新权值W的过程的 2. metric只是作为评价网络表现的一种"指标", 比如accuracy,是为了直观地了解算法的效果,充当view的作用,并不参与到优化过程 在keras中实现自定义loss, 可以有两种方式,一种自定义 loss function, 例如: # 方式一 def vae_loss(x, x_decoded_mean): xent_loss = objectives.binary_

  • keras自定义损失函数并且模型加载的写法介绍

    keras自定义函数时候,正常在模型里自己写好自定义的函数,然后在模型编译的那行代码里写上接口即可.如下所示,focal_loss和fbeta_score是我们自己定义的两个函数,在model.compile加入它们,metrics里'accuracy'是keras自带的度量函数. def focal_loss(): ... return xx def fbeta_score(): ... return yy model.compile(optimizer=Adam(lr=0.0001), lo

  • keras中模型训练class_weight,sample_weight区别说明

    keras 中fit(self, x=None, y=None, batch_size=None, epochs=1, verbose=1, callbacks=None, validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None, initial_epoch=0, steps_per_epoch=None, validation_steps=None) 官方文档

  • 解决Pytorch训练过程中loss不下降的问题

    在使用Pytorch进行神经网络训练时,有时会遇到训练学习率不下降的问题.出现这种问题的可能原因有很多,包括学习率过小,数据没有进行Normalization等.不过除了这些常规的原因,还有一种难以发现的原因:在计算loss时数据维数不匹配. 下面是我的代码: loss_function = torch.nn.MSE_loss() optimizer.zero_grad() output = model(x_train) loss = loss_function(output, y_train)

  • 记录模型训练时loss值的变化情况

    记录训练过程中的每一步的loss变化 if verbose and step % verbose == 0: sys.stdout.write('\r{} / {} : loss = {}'.format( step, total_steps, np.mean(total_loss))) sys.stdout.flush() if verbose: sys.stdout.write('\r') sys.stdout.flush() 一般我们在训练神经网络模型的时候,都是每隔多少步,输出打印一下l

  • 在keras中实现查看其训练loss值

    想要查看每次训练模型后的 loss 值变化需要如下操作 loss_value= [ ] self.history = model.fit(state,target_f,epochs=1, batch_size =32) b = abs(float(self.history.history['loss'][0])) loss_value.append(b) print(loss_value) loss_value = np.array( loss_value) x = np.array(range

  • 利用信号如何监控Django模型对象字段值的变化详解

    django信号系统 django自带一套信号发射系统来帮助我们在框架的不同位置传递信息．也就是说,当某一事件发生时,信号系统可以允许一个或多个发送者(senders)将通知或信号(signals)推送给一组接受者(receivers)．信号系统在我们多处代码与同一个事件相关是特别有用． 既然是信号系统,那么必须包含以下要素: 1. 发送者-谁发送了信号 2. 信号-发送的信号本身 3. 接收者-信号是发给谁的 Django 信号 (Signals) 的功能类似于 WordPress 的动作 (

  • PyTorch训练LSTM时loss.backward()报错的解决方案

    训练用PyTorch编写的LSTM或RNN时,在loss.backward()上报错: RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time. 千万别改成loss.backward(retain_graph=Tru

  • keras自定义回调函数查看训练的loss和accuracy方式

    前言: keras是一个十分便捷的开发框架,为了更好的追踪网络训练过程中的损失函数loss和准确率accuracy,我们有几种处理方式,第一种是直接通过 history=model.fit(),来返回一个history对象,通过这个对象可以访问到训练过程训练集的loss和accuracy以及验证集的loss和accuracy. 第二种方式就是通过自定义一个回调函数Call backs,来实现这一功能,本文主要讲解第二种方式. 一.如何构建回调函数Callbacks 本文所针对的例子是卷积神经网络

  • keras做CNN的训练误差loss的下降操作

    采用二值判断如果确认是噪声,用该点上面一个灰度进行替换. 噪声点处理:对原点周围的八个点进行扫描,比较.当该点像素值与周围8个点的值小于N时,此点为噪点 . 处理后的文件大小只有原文件小的三分之一,前后的图片内容肉眼几乎无法察觉. 但是这样处理后图片放入CNN中在其他条件不变的情况下,模型loss无法下降,二分类图片,loss一直在8-9之间.准确率维持在0.5,同时,测试集的训练误差持续下降,但是准确率也在0.5徘徊.大概真是需要误差,让优化方法从局部最优跳出来. 使用的activation

  • 入门tensorflow教程之TensorBoard可视化模型训练

    入门tensorflow教程之TensorBoard可视化模型训练

    TensorBoard是用于可视化图形 和其他工具以理解.调试和优化模型的界面. 它是一种为机器学习工作流提供测量和可视化的工具. 它有助于跟踪损失和准确性.模型图可视化.低维空间中的项目嵌入等指标. 下面,我们使用MNIST 数据的图像分类模型 ,将首先导入所需的库并加载数据集. 模型的建立使用最简单的顺序模型 import tensorflow as tf (X_train, y_train), (X_test, y_test) = tf.keras.datasets.mnist.load_

  • 解决tensorflow训练时内存持续增加并占满的问题

    记录一次小白的tensorflow学习过程,也为有同样困扰的小白留下点经验. 先说我出错和解决的过程.在做风格迁移实验时,使用预加载权重的VGG19网络正向提取中间层结果,结果因为代码不当,在遍历图片提取时内存持续增长,导致提取几十个图片的特征内存就满了. 原因是在对每一张图片正向传播结束后,都会在留下中间信息.具体地说是在我将正向传播的代码与模型的代码分离了,在每次遍历图片时都会正向传播,在tensorflow中新增加了很多的计算节点(如tf.matmul等等),导致内存中遗留了大量的过期信息

  • 浅谈keras的深度模型训练过程及结果记录方式

    记录训练过程 history=model.fit(X_train, Y_train, epochs=epochs,batch_size=batch_size,validation_split=0.1) 将训练过程记录在history中 利用时间记录模型 import time model_id = np.int64(time.strftime('%Y%m%d%H%M', time.localtime(time.time()))) model.save('./VGG16'+str(model_id

随机推荐