如何将卷安装到从Airflow主机运行Docker容器的Kubernetes Pod上，使用KubernetesPodOperator触发该容器

如何解决如何将卷安装到从Airflow主机运行Docker容器的Kubernetes Pod上，使用KubernetesPodOperator触发该容器

我的气流中有一个使用KubernetesPodOperator的DAG，我试图将运行在吊舱中的容器生成的一些文件返回到气流主机。为了进行开发，我的主机是一个运行airflow image并带有docker-desktop K8s集群的Docker容器，而对于生产，我使用的是带有EKS的AWS EC2盒。

volume_mount = VolumeMount('dbt-home',mount_path=<CONTAINER_DIR>,sub_path=None,read_only=False)

volume_config= {
    'hostPath':
      {'path': <HOST_DIR>,'type': 'DirectoryOrCreate'}
    }

volume = Volume(name="dbt-home",configs=volume_config)


dbt_run = KubernetesPodoperator(
                          namespace='default',image=MY_IMAGE>,cmds=["bash","-cx"],arguments=[command],env_vars=MY_ENVIRONMENT,volumes=[volume],volume_mounts=[volume_mount],name="test-run",task_id="test-run-task",config_file=config_file,get_logs=True,reattach_on_restart=True,dag=dag
                          )

我尝试对卷使用hostPath类型，但我认为它指向Pod的主机。我在kubernetes文档中查看了有关卷的内容，发现其中的EmptyDir也不起作用。

解决方法

根据您的评论，您正在询问如何在Pod中运行一个任务如何完成并将日志写入到在Pod中运行的另一任务在启动时可以读取的位置。看来您可以做些事。

1. 您可能只是让您的任务开始通过kubectl get logs获取完成的前一个容器的日志（即-将kubectl放入您的任务映像中，并允许其服务帐户获取该命名空间中的容器的日志）或使用Kubernetes python API来获取日志。
2. 您可以在特定位置将pvc安装到初始Task中并在其中写入日志，然后在完成时将相同的pvc安装在下一个Task中，并且可以从该位置读取日志。如果一次只能安装到一个Pod中，则可以使用ebs；如果一次一次安装到多个pod中，则可以使用nfs。也许nfs很有意义，因此您可以一次在pod中的多个任务之间共享日志。
3. 您可以将日志发送到Cloudwatch via fluentd。然后，您的任务可以向Cloudwatch查询上一个任务的日志。我认为将日志发送到Cloudwatch还是一个好习惯，因此您也可以这样做。

我不确定您是否正在寻找一种更自然的方式来执行此操作，但是那些想到的想法会解决您的问题。