微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Flair en-sentiment 模型加载在未连接到互联网时失败

如何解决Flair en-sentiment 模型加载在未连接到互联网时失败

当我没有可用的互联网连接时,以下代码对我来说失败,并显示我在下面详述的错误消息。我尝试了很多方法包括配置和检查 .flair 包使用的 .cache 文件夹和 transformers 文件夹。我还根据错误消息的建议检查了 distilbert-base-uncasedhttps://huggingface.co/models 上的当前模型标识符。我能做些什么来解决这个问题?详情如下。

失败的代码

from flair.models import TextClassifier
en_classifier = TextClassifier.load('en-sentiment')

错误

Can't load tokenizer for 'distilbert-base-uncased'. Make sure that:

- 'distilbert-base-uncased' is a correct model identifier listed on 'https://huggingface.co/models'

- or 'distilbert-base-uncased' is the correct path to a directory containing relevant tokenizer files

其他详细信息:

Flair 版本:0.8.0.post1'

需要环境变量,因为我的应用需要在没有互联网连接的情况下独立运行:

TRANSFORMERS_OFFLINE=1
HF_DATASETS_OFFLINE=1

我的模型文件位于 .flair 配置的 flair.cache_root 目录中。当我加载其他模型时对我有用的代码是:

from flair.models import TextClassifier
rnn_classifier = TextClassifier.load('sentiment-fast')

即使这样也有效:

from flair.models import SequenceTagger
tagger = SequenceTagger.load('ner')

.flair 目录有:

  • sentiment-en-mix-distillbert_4.pt
  • sentiment-en-mix-ft-rnn.pt
  • ner-english文件夹)
  • pos-english文件夹)

~/.cache/huggingface/transformers 目录有:

  • 0e1bbfda7f63a99bb52e3915dcf10c3c92122b827d92eb2d34ce94ee79ba486c.d789d64ebfe299b0e416afc4a169632f903f693095b4629a7ea271d5a0cf2c99
  • 0e1bbfda7f63a99bb52e3915dcf10c3c92122b827d92eb2d34ce94ee79ba486c.d789d64ebfe299b0e416afc4a169632f903f693095b4629a7ea271d5a0cf2c99.json
  • 75abb59d7a06f4f640158a9bfcde005264e59e8d566781ab1415b139d2e4c603.7f2721073f19841be16f41b0a70b600ca6b880c8f3df6f3535cbc704371bdfa4
  • 75abb59d7a06f4f640158a9bfcde005264e59e8d566781ab1415b139d2e4c603.7f2721073f19841be16f41b0a70b600ca6b880c8f3df6f3535cbc704371bdfa4.json
  • 8c8624b8ac8aa99c60c912161f8332de003484428c47906d7ff7eb7f73eecdbb.20430bd8e10ef77a7d2977accefe796051e01bc2fc4aa146bc862997a1a15e79
  • 8c8624b8ac8aa99c60c912161f8332de003484428c47906d7ff7eb7f73eecdbb.20430bd8e10ef77a7d2977accefe796051e01bc2fc4aa146bc862997a1a15e79.json

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。