如何解决Vertex AI kubeflow 管道抛出副本 workerpool0-0 内存不足并以非零状态 137(SIGKILL) 退出
我想重申我的问题,我将笔记本移动到了与我的计算引擎相同的区域,理论上这没有任何作用,因为我的 kfp.dsl ContainerOp 在被要求运行时启动了一个新的计算引擎。
我的问题变成了这个;
我有一个名为 get_data 的 kfp 组件,它试图从谷歌存储中读取 37 GB 的数据并进行简单的转换,然后在选择特征后输出数据帧。
在资源设置为 af set_cpu_limit 32、set_memory_limit 100G 的情况下运行我的 ContainerOp 时,我不断地抛出内存不足,这会启动具有 n1-standard-32 规格的机器。
根据 GCP,这台机器有 120G 内存,应该足以完成这项工作,有谁知道在运行组件时如何扩展这些中型机器?
我的管道 ContainerOp 调用如下;
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。