tensorflow 服务模型负载影响其他模型图运行尾部延迟

如何解决tensorflow 服务模型负载影响其他模型图运行尾部延迟

我正在使用相同的 tensorflow 模型服务器实例（在单个 Docker 容器内运行）加载两个模型 A 和 B。 （使用 tensorflow_model_sever v2.5.1）

模型在磁盘上大约有 5GB，其中大约 1.7GB 只是推理相关的节点。

模型 A 只加载一次，模型 B 每隔一段时间就会获取一个新版本。 我的客户只请求模型 A 的预测。不使用模型 B。 顺便提一下，两个模型都有预热数据。

每次为模型 B 加载新版本时，模型 A 中图形运行的尾部延迟从 20 毫秒跳到 > 100 毫秒（！）。 我从 tensorflow 模型服务器获得尾部延迟 - :tensorflow:serving:request_latency_bucket， 以及来自我的 GRPC 客户端。

容器有足够的可用内存和 cpu， 这也可以通过 GPU 看到。

我尝试更改 num_load_threads 和 num_unload_threads、flush_filesystem_caches， 但无济于事。

到目前为止还没有设法使用 GRPC 对冲/手动双重调度来摆脱它（但正在努力解决它），有人见过这个，并且更好地解决了这个问题？ 谢谢！