Kubeflow - create_run_from_pipeline_func 中的错误

如何解决Kubeflow - create_run_from_pipeline_func 中的错误

我是 Kubeflow 和 k8s 的新手。我已经设置了一个单节点 k8s 集群并在其上安装了 Kubeflow。我现在正在尝试“机器学习 Kubeflow”一书中的“条件管道”简单示例，但出现“无法发布 /apis/v1beta1/experiments”错误......

Reason: Not Found
HTTP response headers: HTTPHeaderDict({'x-powered-by': 'Express','content-security-policy': "default-src 'none'",'x-content-type-options': 'nosniff','content-type': 'text/html; charset=utf-8','content-length': '164','date': 'Fri,11 Jun 2021 20:47:13 GMT','x-envoy-upstream-service-time': '2','server': 'envoy'})
HTTP response body: <!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Error</title>
</head>
<body>
<pre>Cannot POST /apis/v1beta1/experiments</pre>
</body>
</html>

任何指针可能会出错？

如果我执行“kubectl get -A svc | grep 仪表板”，我只能看到 Kubeflow 中央仪表板。此错误是否与 k8s 仪表板未运行有关？

这是我正在尝试的示例：

https://github.com/intro-to-ml-with-kubeflow/intro-to-ml-with-kubeflow-examples/blob/master/pipelines/ControlStructures.ipynb

在此之前，我也尝试过下面的 MNIST 示例，但遇到了完全相同的问题 - https://github.com/anjuls/fashion-mnist-kfp-lab/blob/master/KF_Fashion_MNIST.ipynb

最后，我尝试将 kfp.Client() 行修改为以下内容： kfp.Client(host='http://127.0.0.1:8001').create_run_from_pipeline_func(conditional_pipeline,arguments={})

在此之后，我收到与“healtz”相关的错误 -

MaxRetryError: HTTPConnectionPool(host='127.0.0.1',port=8001): Max retries exceeded with url: /apis/v1beta1/healthz (Caused by ProtocolError('Connection aborted.',ConnectionResetError(104,'Connection reset by peer')))

我做了以下事情： kubectl 日志 ml-pipeline-ui-7ddcd74489-xrss8 -c ml-pipeline-ui -n kubeflow

似乎 ml-pipeline 正在 http://localhost:3000 上运行。所以我修改了客户端调用如下：客户端 = kfp.Client(host='http://localhost:3000')

我仍然收到错误消息 - 这次是“连接被拒绝”。

MaxRetryError: HTTPConnectionPool(host='localhost',port=3000): Max retries exceeded with url: /apis/v1beta1/healthz (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fffd1ca0f28>: Failed to establish a new connection: [Errno 111] Connection refused',))

解决方法

我取得了一些进展。但是，问题并未完全解决，但我至少可以继续创建客户端、进行健康检查、列出现有管道。

我发现 ml-pipeline 服务正在以下内部 IP 上运行：

kubeflow service/ml-pipeline ClusterIP 172.19.31.229

然后我在 kfp.Client() API 中使用了这个 IP - 这导致了 RBAC 访问问题。然后我用另一个问题的一些提示修补了我的 k8s -

apiVersion: rbac.istio.io/v1alpha1
kind: ClusterRbacConfig
metadata:
  name: default
spec:
  mode: "OFF"

这解决了我在使用 kfp.Client() 时遇到的问题。但是现在，当我尝试 create_experiment() 时遇到以下错误：

ApiException: (400)
Reason: Bad Request
HTTP response headers: HTTPHeaderDict({'content-type': 'application/json','trailer': 'Grpc-Trailer-Content-Type','date': 'Wed,16 Jun 2021 22:40:54 GMT','x-envoy-upstream-service-time': '2','server': 'envoy','transfer-encoding': 'chunked'})
HTTP response body: {"error":"Invalid input error: Invalid resource references for experiment. ListExperiment requires filtering by namespace.","message":"Invalid input error: Invalid resource references for experiment. ListExperiment requires filtering by namespace.","code":3,"details":[{"@type":"type.googleapis.com/api.Error","error_message":"Invalid resource references for experiment. ListExperiment requires filtering by namespace.","error_details":"Invalid input error: Invalid resource references for experiment. ListExperiment requires filtering by namespace."}]}

您是否尝试过端口转发 ml-pipeline-ui？

kubectl port-forward svc/ml-pipeline-ui 3000:80 --namespace kubeflow

然后检查你是否可以做

import kfp
client = kfp.Client(host='http://localhost:3000')
print(client.list_experiments())

请参阅以下文档：https://www.kubeflow.org/docs/components/pipelines/sdk/connect-api/

Kubeflow - create_run_from_pipeline_func 中的错误

如何解决Kubeflow - create_run_from_pipeline_func 中的错误

解决方法

相关推荐