连接网络中从密集到 LSTM 的反向传播错误？

如何解决连接网络中从密集到 LSTM 的反向传播错误？

我正在制作自己的神经网络库，但我对如何将 Dense 层连接到多个 LSTM 感到困惑。特别是反向传播部分。
目前，例如，这就是模型的行为：

假设我有 2 个不同的 LSTM，每个输出 1 个值。我将这两个值放入一个向量 (c++) 中，并将它们输入到一个密集网络中。 LSTM 的标签将是 0 - 1 之间的值，密集的标签将是一个类（例如 0 0 1）。然后我一直反向传播 Dense 直到找到输入的导数。 （从 LSTM 向密集馈送的格式是仅馈送最后一个时间步输出，而不是所有时间步输出）。

此时我有 3 种不同的选择（在我看来，所有 3 种都在集体网络训练的意义上起作用）：

选项 1：在最后一个时间步将输入导数输入到相应的 LSTM 中，并将其用作起始误差梯度（即.. 最后一个时间步的误差梯度）。

Option2：通过从最后一个时间步标签中减去输出，将输入导数添加到最后一个时间步计算的误差梯度中。

选项 3：不要传递来自密集的输入导数，而只是简单地做普通的 BPTT，就好像它是一个独立的 LSTM。

这些选项中哪些是正确的？ （或最正确的）。

在我的情况下，我更倾向于考虑它的选项二，因为我希望能够从系统中提取信息，表明哪个 LSTM 对密集层最终预测的误差梯度贡献最大。但我不确定。