seq2seq 模型中应该使用的目标词词汇量是否有限制？

如何解决seq2seq 模型中应该使用的目标词词汇量是否有限制？

在机器翻译 seq2seq 模型（使用 RNN/GRU/LSTM）中，我们提供源语言的句子并训练模型将其映射到另一种语言的单词序列（例如，英语到德语 em>).

这个想法是，解码器部分生成一个分类向量（具有目标词词汇量的大小），并在该向量上应用一个 softmax，然后是一个 argmax 以获得最可能词的索引。

我的问题是：目标词的词汇量是否有上限，考虑到：

1. 性能仍然合理（对于较大的向量，softmax 需要更多时间）
2. 预测的准确性/正确性是可以接受的

解决方法

词汇量的主要技术限制是 GPU 内存。词嵌入和输出投影是模型中最大的参数。如果词汇量太大，您将被迫使用小批量训练，这会显着减慢训练速度。

另外，也不一定是词汇量越大，表现就越好。自然语言中的词是按照Zipf's law分布的，这意味着词的出现频率随频率等级呈指数下降。随着词汇量的增加，您添加的单词在该语言中越来越不常见。仅当单词出现在训练数据中时，单词嵌入才会更新。由于词汇量非常大，不太常用的词的嵌入最终训练不足，模型无论如何都无法正确处理它们。

MT 模型通常使用 30k-50k 令牌的词汇表。然而，这些不是词，而是所谓的子词。文本使用统计启发式进行分割，这样大多数常用词保持原样，不常用的词被拆分为子词，最终拆分为单个字符。