使用语言模型获得句子的概率

如何解决使用语言模型获得句子的概率

我已经使用以下架构训练了语言模型，

model = tf.keras.Sequential([

tf.keras.layers.Embedding(total_words,300,weights=[embeddings_matrix],input_length=inputs.shape[1],trainable=False),tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(150)),tf.keras.layers.Dense(total_words,activation = 'softmax')

])

请注意，我为此目的使用了预先训练的单词嵌入层。

我现在想做的是，给出一个全新的句子，根据这种语言模型生成该序列的概率。

这与预测序列中的下一个单词无关，而与产生提供的整个句子的概率有关。

如何在TensorFlow 2中做到这一点？ 我曾在TensorFlow 1上看到过类似的问题，但与新版本无关。