如何解决如何最有效地将一个 ONNX 模型的输出提供给 Java 中的另一个?
我有两个使用 ONNX 构建的模型,模型 A 和模型 B。我使用 ONNX Runtime Java API 加载这些模型并使用它们进行推理。工作流程是我需要用模型 A 计算预测,然后将模型 A 的结果输入模型 B:
x -> A(x) -> B(A(x)) -> y
当我调用 resultFromA = A.run(inputs)
(OrtSession.run) 时,API 返回 Result。
理想情况下,我想获取该结果并调用 B.run(resultFromA)
,但 run
只接受 Map<String,OnnxTensor> inputs
。我真的必须遍历 resultFromA
并将其内容放入新的 Map
中吗?或者他们是我忽略的 API 中的方法/用法?
这是我想要做的:
OrtEnvironment environment = OrtEnvironment.getEnvironment();
OrtSession modelASession = environment.createSession(...);
OrtSession modelBSession = environment.createSession(...);
try (Result modelAResults = modelASession.run(inputTensor)) {
try(Result modelBResults = modelBSession.run(modelAResults) { // <-------run won't take a Result object
//do something with model B results...
}
}
而我必须做的是:
OrtEnvironment environment = OrtEnvironment.getEnvironment();
OrtSession modelASession = environment.createSession(...);
OrtSession modelBSession = environment.createSession(...);
try (Result modelAResults = modelASession.run(inputTensor)) {
Map<String,OnnxTensor> modelAMap = new HashMap<String,OnnxTensor>();
modelAResults.forEach(e -> modelAMap.put(e.getKey(),(OnnxTensor) e.getValue()));
try(Result modelBResults = modelBSession.run(modelAMap) {
//do something with model B results...
}
}
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。