如何解决使Airflow KubernetesPodOperator清除图像缓存而不在DAG上设置image_pull_policy吗?
我正在Google Composer上运行Airflow。我的任务是KubernetesPodoperators,默认情况下,对于Composer,它们与Celery Executor一起运行。
我刚刚更新了KubernetesPodoperator之一使用的Docker映像,但是我的更改没有得到体现。我认为原因是它使用了图像的缓存版本。
如何清除KubernetesPodoperator的缓存?我知道我可以在DAG中设置image_pull_policy=Always
,但是我希望它将来使用缓存的图像,我只需要它现在刷新缓存即可。
这是我的KubernetesPodoperator(注释行除外)的方式:
processor = kubernetes_pod_operator.KubernetesPodoperator(
task_id='processor',name='processor',arguments=[filename],namespace='default',pool='default_pool',image='gcr.io/proj/processor',# image_pull_policy='Always' # I want to avoid this so I don't have to update the DAG
)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。