如何解决如何在 dag 脚本中使用 AirflowGlueJobHook 开始粘合作业
我可以使用 python 运算符开始粘合作业，如下所示
from airflow import DAG
from airflow.operators.python_operator import Pythonoperator
from airflow.providers.amazon.aws.hooks.glue import AwsglueJobHook
from datetime import datetime,timedelta
import json
import boto3
glue_client = boto3.client('glue')
def run_glue_job():
glue_client.start_job_run(JobName='job-abc')
DEFAULT_ARGS = {
'owner': 'airflow','start_date': datetime(2021,3,24)
}
with DAG(
dag_id='abc',default_args=DEFAULT_ARGS,start_date=datetime(2021,24)
) as dag:
run_glue_job = Pythonoperator(
task_id="run_glue_job",python_callable=run_glue_job
)
但是，我如何使用具有 initialize_job 方法的 AWSglueJobHook 来启动粘合作业，而不是 Pythonoperator？
https://airflow.apache.org/docs/apache-airflow-providers-amazon/stable/_api/airflow/providers/amazon/aws/hooks/glue/index.html#airflow.providers.amazon.aws.hooks.glue.AwsGlueJobHook.initialize_job
任何关于此的指针都非常感谢，因为我之前没有使用过 Hooks
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。