如何解决MultiHeadAttention 的序列编码
我正在尝试使用 MultiHeadAttention 将一系列图像嵌入编码为一个更大的嵌入。 （顺序无关紧要）
我想要一个类似于将形状为 (batch_size,sequence_length,embedding_dim) 的序列传递给 LSTM 层并将最后的 hidden_state 作为嵌入保存有关该序列的所有重要信息的操作......或者我们可以说是序列嵌入。
我想通过注意力来消除反复出现的行为..
# embeddings: shape(batch_size,embedding_dim)
multihead_attn = nn.MultiheadAttention(embedding_dim,num_heads)
attn_output,attn_output_weights = multihead_attn(embeddings,embeddings,embeddings)
但在这种情况下，注意力输出的形状也将是 (batch_size,embedding_dim)。
我应该做什么
attn_output = attn_output.mean(1)
或者，如果我将查询作为 embeddings.mean(1) 传递，那会产生预期的行为吗？输出会模拟序列嵌入吗？
# embeddings: shape(batch_size,num_heads)
seq_emb,attn_output_weights = multihead_attn(embeddings.mean(1),embeddings)
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
