微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何将经过训练的拥抱面RagRetriever数据集下载到自定义目录

如何解决如何将经过训练的拥抱面RagRetriever数据集下载到自定义目录

我正在玩来自Facebook(拥抱脸)https://huggingface.co/facebook/rag-token-nq#usage的RAG示例。

这里有一个很好的解释:https://ai.facebook.com/blog/retrieval-augmented-generation-streamlining-the-creation-of-intelligent-natural-language-processing-models/

代码非常简单,但是在此步骤中下载的数据集有点大(75GB):

retriever = RagRetriever.from_pretrained("facebook/rag-token-nq",index_name="exact",use_dummy_dataset=True)

它将在/root/.cache/huggingface/datasets/中下载数据集,如果可能的话,我想对其进行更改。这行代码输出是:

Downloading and preparing dataset wiki_dpr/psgs_w100.nq.no_index (download: UnkNown size,generated: UnkNown size,post-processed: UnkNown size,total: UnkNown size) to /root/.cache/huggingface/datasets/wiki_dpr/

我的问题是:如何将文件夹更改为将RagRetriever.from_pretrained(75GB的一个)下载的数据集下载到root/.cache/huggingface/datasets/ .

以外的另一个文件夹中

谢谢!。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。