如何解决如何将新令牌添加到使用句子的 T5 分词器
我在以下链接训练基于 t5
的 tensorflow
转换器:
https://github.com/google-research/text-to-text-transfer-transformer
输入:
b'[atomic]:<subject>PersonX plays a ___ in the war</subject><relation>oReact</relation>'
输出:
<object>none</object>
但是,对于我得到的预测:
⁇ object>none ⁇ /object>
用<
代替??
,我应该怎么做才能解决这个问题?
更新:我发现奇怪的是 <
超出了 t5 分词器的词汇量,即 sentencepiece
,我只是不知道如何添加
解决方法
据我所知,您可以使用 Tokenizer.add_tokens() 添加新令牌。更多详情请见 Huggingface here
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。