上下文相关循环神经网络语言模型

最近进行了一定数量的研究，通过将上下文信息合并到语言模型来提高语言模型的性能。这是因为下一个单词的可能性取决于“上下文”或“主题”。这也有助于捕获长期依赖关系和梯度消失问题。

在我遇到的大多数研究中，这是通过使用额外的上下文向量来实现的，该向量使用主题建模技术（如潜在狄利克雷分配 (LDS)）生成。以下是一些已经进行的此类研究， https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/rnn_ctxt.pdf https://ieeexplore.ieee.org/document/7953254

我不明白如何将不属于实际输入序列的一部分的附加上下文向量添加到循环神经网络中。尽管存在这些论文，但我一直无法找到任何实现。我想知道是否有人知道如何使用像 TensorFlow 这样的深度学习框架来实现这样的模型？或者，您是否可以找到任何现有的实现？任何帮助将不胜感激。