如何解决从拥抱面特征提取管道中获取句子嵌入
我如何从huggingface的特征提取管道中为整个句子嵌入?
我了解如何获取每个标记的功能(如下),但如何获取整个句子的整体功能?
feature_extraction = pipeline('feature-extraction',model="distilroberta-base",tokenizer="distilroberta-base")
features = feature_extraction("i am sentence")
解决方法
如果每个标记都有嵌入,则可以通过合并(汇总)它们来创建整体句子嵌入。请注意,如果您具有D维令牌嵌入,则应通过以下方法之一获得D维句子嵌入:
-
计算所有令牌嵌入的均值。
-
计算所有令牌嵌入中每个D维的最大值。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。