如何解决使用 BERT 模型检索“相关令牌”已微调
我已经针对分类任务对 BERT 模型（使用 Huggingface 库）进行了微调，以预测两种类型（例如 1 和 0）的帖子类别。但是，我需要检索预测为类别 1 的文档的“相关标记”（例如）。我知道，一旦我的 BERT 模型将所有帖子标记为 1（例如），我就可以使用传统的 TF-IDF 方法。但我有以下问题： 是否可以使用微调的 BERT 模型的架构来完成相同的任务？我的意思是，访问编码器的最后一层（预测层），并使用注意力机制，获得使 te 预测为 1 的“相关”标记（例如）？ 有可能这样做吗？有人知道类似的教程吗？
解决方法
使用 Transformer 模型，您可以执行一些可解释性分析，这可能正是您想要的。我建议查看 SHAP 的转换器部分。您只需要将模型包装在 SHAP 解释器中，如下所示：
import shap
explainer = shap.Explainer(model)
如果您有相关标记的标签，则还有另一种选择，即训练标记分类模型。但这需要为每个令牌重新训练和标记。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
