lstm层初始状态在seq2seq编码器中的作用

如何解决lstm层初始状态在seq2seq编码器中的作用

我正在尝试按照本指南来实现 seq2seq 机器翻译模型：https://www.tensorflow.org/tutorials/text/nmt_with_attention

教程的 Encoder 有一个 initialize_hidden_state() 函数，用于生成全 0 作为编码器的初始状态。但是我有点困惑为什么这是必要的。据我所知，只有在调用 encoder 时（在 train_step 和评估中），它们是使用 initialize_hidden_state() 函数初始化的。我的问题是 1.) 这个初始状态的目的是什么？ Keras 层不会自动初始化 LSTM 状态吗？以及 2.) 如果总是使用由 encoder 生成的初始状态调用编码器，为什么不总是使用所有 0 个隐藏状态来初始化 initialize_hidden_state()？

解决方法

你完全正确。示例中的代码有点误导。 LSTM 单元会自动初始化为零。您可以删除 initialize_hidden_state() 函数。