如何解决如何为预训练模型应用烧瓶缓存?
我有一个flask_restful api。我将结构分为几个部分,例如:
app:
-api.py
-resources
--resource1.py
--resource2.py
resource1 文件的结构如下:
class Func(Resource):
def __init__(self):
model = some_module.from_pretrained("xyz")
model.eval()
model.to(self.device)
self.model = model
def post(self):
#taking some input to be eavaluated
output = fun1(self.model,input//) //fun1 is already defined function
return processed output
api 文件是这样的:
#importing requirements
app = Flask(__name__)
api = Api(app)
cache.init_app(app)
api.add_resource(Func,'/output')
if __name__ == "__main__":
app.run(port='5000',debug = True)
我想为模型使用缓存。我关注了几篇文章,但我无法正确实现它,所以如果有人能给出解决方案,那将会很有帮助。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。