如何解决在heroku上的celery / redis任务中使用BERT蒸馏模型
我正在使用提炼的bert模型进行问题解答
https://huggingface.co/distilbert-base-cased-distilled-squad
在本地一切正常，但是当尝试在我的celery任务中使用该模型时，辅助线程日志显示
2020-09-24T03：50：05.794556 + 00：00 app [worker.1]：72％|███████▏| 187M / 261M [00:14
下面的代码是我进行导入，模型加载和任务的地方。删除导入和加载可解决内存问题。
from transformers import AutoTokenizer,AutoModelForQuestionAnswering
import torch
tokenizer = AutoTokenizer.from_pretrained("distilbert-base-cased-distilled-squad")
model = AutoModelForQuestionAnswering.from_pretrained("distilbert-base-cased-distilled-squad")
@app.task
def evaluateQuestionAnswer():
我想知道是否需要使用诸如tensorflow服务之类的东西
https://www.tensorflow.org/tfx/guide/serving
还是我缺少有关准备模型生产的东西？
使用docker可以缓解此加载问题吗？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
