Kubernetes吊舱操作员卷安装失败，导致没有产生吊舱

如何解决Kubernetes吊舱操作员卷安装失败，导致没有产生吊舱

我正在尝试将通过yaml文件配置的火花提交作业转换为气流dag，并通过气流运行它。当我尝试安装卷并加载配置映射时，作业失败。大量的代码装载块在yaml中是这样的

  volumeMounts:
    - mountPath: /etc/jtp
      name: config-vol

要加载的配置映射是这样的

  volumes:
  - configMap:
      name: qa-jtp-llt
    name: config-vol

现在，当我尝试将相同的内容翻译为我的dag时，它会转换为类似的内容

from kubernetes.client import models as k8s
from airflow import DAG
from datetime import timedelta
from datetime import datetime
from airflow.utils.dates import days_ago
from airflow.providers.cncf.kubernetes.operators.kubernetes_pod import KubernetesPodoperator
from airflow.utils.trigger_rule import TriggerRule


volume_mount = k8s.V1VolumeMount(name='config-vol',mount_path='/etc/jtp',sub_path=None,read_only=True)

configmaps = [k8s.V1EnvFromSource(config_map_ref=k8s.V1ConfigMapEnvSource(name='config_name'))]

volume = k8s.V1Volume(
    name='config-vol',persistent_volume_claim=k8s.V1PersistentVolumeClaimVolumeSource(claim_name='config-vol'),)

default_args = {
    'owner': 'airflow','depends_on_past': False,'wait_for_downstream': False,'start_date': datetime(2020,10,8),'email': ['airflow@example.com'],'email_on_failure': False,'email_on_retry': False,'max_active_runs': 1,'catchup': True
}   a


dag = DAG(
    'sample_job',default_args=default_args,description='sample job to run on kubernetes-pod-operator',schedule_interval=None,)

sample_job = KubernetesPodoperator(
        task_id='task-1',name='sample-job',namespace='namespace1',image='image_name',image_pull_policy='Always',volumes=[volume],volume_mounts=[volume_mount],configmaps=configmaps,cmds=["/opt/entrypoint.sh","driver"],arguments=[
            '--class','something.thisthing.mainclass','myjar_file_name.jar','property_file_1.properties','property_file_2.properties',],dag=dag,)

我正在尝试在airflow 2.0.0版本上使用kubernetes pod运算符。我面临的问题是，当我在Airflow上运行此作业时，这又为该作业启动了一个本地容器，而该容器又应在运行该任务的名称空间中启动另一个容器。但是应该运行该任务的第二个Pod无法启动，并且没有错误消息。当我删除卷规范的所有组件（例如，vol，volume_mount，config_map）时，名称空间中的第二个pod产生，并给出无法找到属性文件的错误消息。我想念什么??我在这里做错了什么？尝试启动它的各种方法均失败了，因此向该社区寻求帮助。

谢谢

解决方法

您很有可能在“ namespace1”命名空间中没有名称为“ config-vol”的pvc。

您需要为V1VolumeMount（name ='existing-pvc-name'，...）提供正确的PVC名称

您应该能够使用以下命令列出该命名空间中的可用pvc：

kubectl -n namespace1 get pvc

Kubernetes吊舱操作员卷安装失败，导致没有产生吊舱

如何解决Kubernetes吊舱操作员卷安装失败，导致没有产生吊舱

解决方法

相关推荐