Pytorch 如何实现LSTM时间序列预测

开发环境说明：

Python 35

Pytorch 0.2

CPU/GPU均可

1、LSTM简介

人类在进行学习时，往往不总是零开始，学习物理你会有数学基础、学习英语你会有中文基础等等。

于是对于机器而言，神经网络的学习亦可不再从零开始，于是出现了Transfer Learning，就是把一个领域已训练好的网络用于初始化另一个领域的任务，例如会下棋的神经网络可以用于打德州扑克。

我们这讲的是另一种不从零开始学习的神经网络——循环神经网络（Recurrent Neural Network, RNN），它的每一次迭代都是基于上一次的学习结果，不断循环以得到对于整体序列的学习，区别于传统的MLP神经网络，这种神经网络模型存在环型结构，

具体下所示：

上图是RNN的基本单元，通过不断循环迭代展开模型如下所示，图中ht是神经网络的在t时刻的输出，xt是t时刻的输入数据。

这种循环结构对时间序列数据能够很好地建模，例如语音识别、语言建模、机器翻译等领域。

但是普通的RNN对于长期依赖问题效果比较差，当序列本身比较长时，由于神经网络模型的训练是采用backward进行，在梯度链式法则中容易出现梯度消失和梯度爆炸的问题，需要进一步改进RNN的模型结构。

针对Simple RNN存在的问题，LSTM网络模型被提出，LSTM的核心是修改了增添了Cell State，即加入了LSTM CELL，通过输入门、输出门、遗忘门把上一时刻的hidden state和cell state传给下一个状态。

如下所示：

遗忘门：ft = sigma(Wf*[ht-1, xt] + bf)

输入门：it = sigma(Wi*[ht-1, xt] + bi)

cell state initial: C't = tanh(Wc*[ht-1, xt] +bc)

cell state: Ct = ft*Ct-1+ itC't

输出门：ot = sigma(Wo*[ht-1, xt] + bo)

模型输出：ht = ot*tanh(Ct)

LSTM有很多种变型结构，实际工程化过程中用的比较多的是peephole，就是计算每个门的时候增添了cell state的信息，有兴趣的童鞋可以专研专研。

上一部分简单地介绍了LSTM的模型结构，下边将具体介绍使用LSTM模型进行时间序列预测的具体过程。

2、数据准备

对于时间序列，本文选取正弦波序列，事先产生一定数量的序列数据，然后截取前部分作为训练数据训练LSTM模型，后部分作为真实值与模型预测结果进行比较。正弦波的产生过程如下:

SeriesGen(N)方法用于产生长度为N的正弦波数值序列；

trainDataGen(seq,k)用于产生训练或测试数据，返回数据结构为输入输出数据。seq为序列数据，k为LSTM模型循环的长度，使用1~k的数据预测2~k+1的数据。

3、模型构建

Pytorch的nn模块提供了LSTM方法，具体接口使用说明可以参见Pytorch的接口使用说明书。此处调用nn.LSTM构建LSTM神经网络，模型另增加了线性变化的全连接层Linear()，但并未加入激活函数。由于是单个数值的预测，这里input_size和output_size都为1.

4、训练和测试

（1）模型定义、损失函数定义

（2）训练与测试

（3）结果展示

比较模型预测序列结果与真实值之间的差距

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。如有错误或未考虑完全的地方，望不吝赐教。

赞 (0)

相关推荐

  • Pytorch实现LSTM和GRU示例

    为了解决传统RNN无法长时依赖问题,RNN的两个变体LSTM和GRU被引入. LSTM Long Short Term Memory,称为长短期记忆网络,意思就是长的短时记忆,其解决的仍然是短时记忆问题,这种短时记忆比较长,能一定程度上解决长时依赖. 上图为LSTM的抽象结构,LSTM由3个门来控制,分别是输入门.遗忘门和输出门.输入门控制网络的输入,遗忘门控制着记忆单元,输出门控制着网络的输出.最为重要的就是遗忘门,可以决定哪些记忆被保留,由于遗忘门的作用,使得LSTM具有长时记忆的功能.对于

  • Python中利用LSTM模型进行时间序列预测分析的实现

    时间序列模型 时间序列预测分析就是利用过去一段时间内某事件时间的特征来预测未来一段时间内该事件的特征.这是一类相对比较复杂的预测建模问题,和回归分析模型的预测不同,时间序列模型是依赖于事件发生的先后顺序的,同样大小的值改变顺序后输入模型产生的结果是不同的. 举个栗子:根据过去两年某股票的每天的股价数据推测之后一周的股价变化:根据过去2年某店铺每周想消费人数预测下周来店消费的人数等等 RNN 和 LSTM 模型 时间序列模型最常用最强大的的工具就是递归神经网络(recurrent neural n

  • Python实现时间序列可视化的方法

    时间序列数据在数据科学领域无处不在,在量化金融领域也十分常见,可以用于分析价格趋势,预测价格,探索价格行为等. 学会对时间序列数据进行可视化,能够帮助我们更加直观地探索时间序列数据,寻找其潜在的规律. 本文会利用Python中的matplotlib[1]库,并配合实例进行讲解.matplotlib库是一个用于创建出版质量图表的桌面绘图包(2D绘图库),是Python中最基本的可视化工具. [工具]Python 3 [数据]Tushare [注]示例注重的是方法的讲解,请大家灵活掌握. 1.单个时

  • Pytorch 如何实现LSTM时间序列预测

    Pytorch 如何实现LSTM时间序列预测

    开发环境说明: Python 35 Pytorch 0.2 CPU/GPU均可 1.LSTM简介 人类在进行学习时,往往不总是零开始,学习物理你会有数学基础.学习英语你会有中文基础等等. 于是对于机器而言,神经网络的学习亦可不再从零开始,于是出现了Transfer Learning,就是把一个领域已训练好的网络用于初始化另一个领域的任务,例如会下棋的神经网络可以用于打德州扑克. 我们这讲的是另一种不从零开始学习的神经网络--循环神经网络(Recurrent Neural Network, RNN

  • Python中LSTM回归神经网络时间序列预测详情

    Python中LSTM回归神经网络时间序列预测详情

    前言: 这个问题是国际航空乘客预测问题, 数据是1949年1月到1960年12月国际航空公司每个月的乘客数量(单位:千人),共有12年144个月的数据.数据趋势: 训练程序: import numpy as np import pandas as pd import matplotlib.pyplot as plt import torch from torch import nn from torch.autograd import Variable #LSTM(Long Short-Term

  • PyTorch搭建双向LSTM实现时间序列负荷预测

    PyTorch搭建双向LSTM实现时间序列负荷预测

    目录 I. 前言 II. 原理 Inputs Outputs batch_first 输出提取 III. 训练和预测 IV. 源码及数据 I. 前言 前面几篇文章中介绍的都是单向LSTM,这篇文章讲一下双向LSTM. 系列文章: PyTorch搭建LSTM实现多变量多步长时序负荷预测 PyTorch搭建LSTM实现多变量时序负荷预测 PyTorch深度学习LSTM从input输入到Linear输出 PyTorch搭建LSTM实现时间序列负荷预测 II. 原理 关于LSTM的输入输出在深入理解Py

  • PyTorch搭建ANN实现时间序列风速预测

    PyTorch搭建ANN实现时间序列风速预测

    目录 数据集 特征构造 数据处理 1.数据预处理 2.数据集构造 ANN模型 1.模型训练 2.模型预测及表现 数据集 数据集为Barcelona某段时间内的气象数据,其中包括温度.湿度以及风速等.本文将简单搭建来对风速进行预测. 特征构造 对于风速的预测,除了考虑历史风速数据外,还应该充分考虑其余气象因素的影响.因此,我们根据前24个时刻的风速+下一时刻的其余气象数据来预测下一时刻的风速. 数据处理 1.数据预处理 数据预处理阶段,主要将某些列上的文本数据转为数值型数据,同时对原始数据进行归一

  • PyTorch深度学习LSTM从input输入到Linear输出

    PyTorch深度学习LSTM从input输入到Linear输出

    目录 LSTM介绍 LSTM参数 Inputs Outputs batch_first 案例 LSTM介绍 关于LSTM的具体原理,可以参考: https://www.jb51.net/article/178582.htm https://www.jb51.net/article/178423.htm 系列文章: PyTorch搭建双向LSTM实现时间序列负荷预测 PyTorch搭建LSTM实现多变量多步长时序负荷预测 PyTorch搭建LSTM实现多变量时序负荷预测 PyTorch搭建LSTM

  • pytorch下使用LSTM神经网络写诗实例

    在pytorch下,以数万首唐诗为素材,训练双层LSTM神经网络,使其能够以唐诗的方式写诗. 代码结构分为四部分,分别为 1.model.py,定义了双层LSTM模型 2.data.py,定义了从网上得到的唐诗数据的处理方法 3.utlis.py 定义了损失可视化的函数 4.main.py定义了模型参数,以及训练.唐诗生成函数. 参考:电子工业出版社的<深度学习框架PyTorch:入门与实践>第九章 main代码及注释如下 import sys, os import torch as t fr

  • 详解用Python进行时间序列预测的7种方法

    数据准备 数据集(JetRail高铁的乘客数量)下载. 假设要解决一个时序问题:根据过往两年的数据(2012 年 8 月至 2014 年 8月),需要用这些数据预测接下来 7 个月的乘客数量. import pandas as pd import numpy as np import matplotlib.pyplot as plt df = pd.read_csv('train.csv') df.head() df.shape 依照上面的代码,我们获得了 2012-2014 年两年每个小时的乘

  • Matlab实现时间序列预测分类实例代码

    Matlab实现时间序列预测分类实例代码

    目录 一.数据准备 二.时间序列预测分类 1.输入为xt,输出是yt 2.有x值,有y值:NARX (1)选择模型类型 (2)选择输出,只有y_t (3)选择70%用来作为训练数据,15%用来作为验证使用,15%用来测试 (4)选择delay (5)开始训练 (6)得到参数 (7)将神经网络导出代码 3.无x,有y值:NAR 三.总结 Matlab从2010b版本以后,神经网络工具箱已经升级为7.0,功能大大加强.在之前的版本做时间预测是比较麻烦操作的,MathWorks公司对时间序列预测做了详

  • PyTorch搭建CNN实现风速预测

    PyTorch搭建CNN实现风速预测

    目录 数据集 特征构造 一维卷积 数据处理 1.数据预处理 2.数据集构造 CNN模型 1.模型搭建 2.模型训练 3.模型预测及表现 数据集 数据集为Barcelona某段时间内的气象数据,其中包括温度.湿度以及风速等.本文将利用CNN来对风速进行预测. 特征构造 对于风速的预测,除了考虑历史风速数据外,还应该充分考虑其余气象因素的影响.因此,我们根据前24个时刻的风速+下一时刻的其余气象数据来预测下一时刻的风速. 一维卷积 我们比较熟悉的是CNN处理图像数据时的二维卷积,此时的卷积是一种局部

随机推荐