TensorFlow搭建LSTM实现多变量多步长时间序列预测（五）：seq2seq

I. 前言

系列文章：

II. seq2seq

seq2seq由两部分组成：Encoder和Decoder。seq2seq的输入是一个序列，输出也是一个序列，经常用于时间序列预测。关于seq2seq的具体原理可以参考：DL入门(3)：循环神经网络（RNN）。

III. 代码实现

3.1 数据处理

我们根据前24个时刻的负荷以及该时刻的环境变量来预测接下来12个时刻的负荷（步长pred_step_size可调）。

数据处理代码和前面的直接多输出预测一致。

3.2 模型搭建

模型搭建分为三个步骤：编码器、解码器以及seq2seq。

首先是Encoder：

class Encoder(keras.Model):
    def __init__(self, args):
        super().__init__()
        self.lstm = layers.LSTM(units=args.hidden_size, input_shape=(args.seq_len, args.input_size),
                                activation='tanh', return_sequences=True, return_state=True)

    def call(self, input_seq):
        output, h, c = self.lstm(input_seq)

        return h, c
1
2
3
4
5
6
7
8
9
10

一般来讲编码器采用的就是RNN网络，这里采用了LSTM将原始数据进行编码，然后将LSTM的最后的隐状态和单元状态返回。

接着是解码器Decoder：

class Decoder(keras.Model):
    def __init__(self, args):
        super().__init__()
        self.lstm = layers.LSTM(units=args.hidden_size, input_shape=(args.seq_len, args.input_size),
                                activation='tanh', return_sequences=True, return_state=True)
        self.fc1 = layers.Dense(64, activation='relu')
        self.fc2 = layers.Dense(args.input_size)

    def call(self, input_seq, h, c):
        # input_seq(batch_size, input_size)
        batch_size, input_size = input_seq.shape[0], input_seq.shape[1]
        input_seq = tf.reshape(input_seq, [batch_size, 1, input_size])
        output, h, c = self.lstm(input_seq, initial_state=[h, c])
        # output(batch_size, seq_len, num * hidden_size)
        pred = self.fc1(tf.squeeze(output, axis=1))  # pred(batch_size, 1, output_size)
        pred = self.fc2(pred)

        return pred, h, c
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

解码器同样也由LSTM组成，不过解码器的初始的隐状态和单元状态是编码器的输出。此外，解码器每次输入都是上次的输出。

最后定义seq2seq：

class Seq2Seq(keras.Model):
    def __init__(self, args):
        super().__init__()
        self.args = args
        self.Encoder = Encoder(args)
        self.Decoder = Decoder(args)

    def call(self, input_seq):
        batch_size, seq_len, input_size = input_seq.shape[0], input_seq.shape[1], input_seq.shape[2]
        h, c = self.Encoder(input_seq)
        outputs = []
        decoder_input = input_seq[:, -1, :]
        target_len = self.args.output_size
        for t in range(target_len):
            decoder_output, h, c = self.Decoder(decoder_input, h, c)
            outputs.append(decoder_output)
            decoder_input = decoder_output

        outputs = tf.stack(outputs, axis=2)
        return outputs[:, 0, :]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

这里原理与PyTorch搭建LSTM实现多变量多步长时间序列预测（五）：seq2seq
中一致，不再赘述。

3.3 模型训练/测试

模型训练和测试同前文一致。

3.4 实验结果

前24个预测未来12个，每个模型训练30轮，MAPE为9.36%，还需要进一步完善。
在这里插入图片描述

IV. 源码及数据

后面将陆续公开~

相关阅读:
初等数学知识总结
音视频专题--opengl （3）
小程序隐私保护授权处理方式之弹窗组件
系统报错“由于找不到vcomp140.dll无法继续执行代码”的解决方案
高等教育的5个数字营销策略
Hudi第一章：编译安装
leecode 数据库：1148. 文章浏览 I
Hbuilder打包安卓H5-APP，APP与程序分离，更新无需重新打包
天洑软件祝贺“星耀蓉城篮能可贵”四城邀请赛暨西北工业大学校友篮球嘉年华活动圆满举办
win10 & win11 停止系统自动更新方法

原文地址：https://blog.csdn.net/Cyril_KI/article/details/126563659