如何扩展 kubeflow 管道使用 vertex ai，或者它只是自动完成

如何解决如何扩展 kubeflow 管道使用 vertex ai，或者它只是自动完成

我正在运行具有不同组件的 kubeflow 管道，用于数据预处理、训练等阶段。

我知道我可以为每个阶段（组件）使用特定的图像。 （例如未使用 GPU 或使用 GPU 进行训练的图像。

我的问题是管道如何设置为针对不同阶段（组件）进行扩展？

或者它只是自动完成

谢谢。

解决方法

分配给每个组件（步骤）的资源量，由于 containerization，受到其运行资源的限制。
对于管道中使用的 GCP 产品（例如 Dataflow、AutoML），资源会根据 product scalability 自动缩放。
可以创建自定义组件，为此 Vertex AI 允许您为 each step 选择资源量（例如机器类型、CPU 限制、GPU 限制）。对于自定义训练，您还可以选择 more options available 以创建更高效​​的流程。