在 DAG 中使用 boto3 时，Apache 气流无法找到 AWS 凭证

如何解决在 DAG 中使用 boto3 时，Apache 气流无法找到 AWS 凭证

在 ECS Fargate 上运行 Airflow 实例。问题是我无法运行代码来调用 DAG 中的现有胶水作业。下面是 DAG 脚本。

import boto3
import os
import logging
import time
import sys
import botocore
from datetime import datetime,timedelta
from airflow import DAG
from airflow.operators.python_operator import Pythonoperator
from airflow.operators.bash_operator import BashOperator
from airflow.providers.amazon.aws.sensors.s3_key import S3KeySensor

default_args = {
    'owner': 'test','start_date': datetime(2021,1,4),'depends_on_past': False,'provide_context': True
}

dag = DAG('run_glue_job',description='Executes glue job.',schedule_interval=None,catchup=False,default_args=default_args)

def task_1(**kwargs):
    print('recieved trigger')

    glue = boto3.client('glue','us-east-1')
    response = glue.start_job_run(JobName='airflow-dev-job')
    print(response['JobRunId'])

    return response['JobRunId']

def task_2(**kwargs):
    print('send email message')

    return 'passed' 

t1 = Pythonoperator(
    task_id = 'execute_glue_job',dag = dag,python_callable = task_2
)

t2 = Pythonoperator(
    task_id = 'send_email_notification',python_callable = task_3
)

t1 >> t2

我返回凭据错误。

File "/usr/local/airflow/.local/lib/python3.7/site-packages/botocore/auth.py",line 357,in add_auth
    raise NoCredentialsError
botocore.exceptions.NoCredentialsError: Unable to locate credentials

我尝试在连接下的 aws_default 中设置 task_role_arn；但是，我仍然无法解决这个问题。

解决方法

我能够通过在 ECS 的任务定义中添加正确的任务角色来解决问题。

确保分配的任务角色已为您尝试通过 Airflow 访问/运行的服务附加所有策略。