MultiHeadAttention 中查询和关键张量的维度

如何解决MultiHeadAttention 中查询和关键张量的维度

我对 Keras 文档 https://keras.io/api/layers/attention_layers/multi_head_attention/ 中的 MultiHeadAttention 层文档中提到的查询和键张量的维度感到困惑{{3}}

query：查询形状（B、T、dim）张量

value：形状（B、S、暗淡）的值张量。

这里我假设 T 和 S 对应于模型中输入的单词序列，它们应该相同，那么为什么它们不相等？

解决方法

当查询和键值对具有不同的序列输入维度时，这很有用。

这种情况可能出现在 MultiHeadAttention() 中的第二个 Decoder 注意层的情况下。这将有所不同，因为该层的 K(key) 和 V(value) 的输入将来自 Encoder()，而 Q(query) 将来自第一个 MultiHeadAttention() 层Decoder。