如何解决解决 ktrain 预测器与学习器预测中的速度差异?
我正在使用 ktrain Huggingface 库来构建语言模型。在将其用于生产时,我注意到,“学习者预测”与“预测者预测”的速度存在巨大差异。 为什么有什么方法可以加快预测器的预测速度?
%timeit test = learner.predict(val) # takes 10s
%timeit test = predictor.predict(x_val,return_proba = True) # takes 25s
解决方法
第二次调用预处理数据(例如标记化),而第一个调用对已经预处理过的数据进行预测。因此,时间差异可能是由于预处理原始数据所花费的时间:
%%time
tst = predictor.preproc.preprocess_test(x_test)
# Wall time: 5.65 s
%%time
preds = learner.predict(val)
# Wall time: 10.5 s
%%time
preds = predictor.predict(x_test)
# Wall time: 16.1 s
向 predict
提供文本列表时,您还可以使用更大的 batch_size
,这也有助于提高速度(默认为 32):
predictor.batch_size = 128
preds = predictor.predict(x_test)
最后,如果您希望在部署场景中做出更快的预测,您可以查看 ktrain 常见问题解答,其中显示了 how to make quantized predictions 和 predictions with ONNX。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。