Airflow 如何确定任务是失败还是成功，并安排重试？

如何解决Airflow 如何确定任务是失败还是成功，并安排重试？

我对 Airflow 非常陌生（刚刚开始阅读它），我有几个关于如何确定任务是失败还是成功以及安排重试的问题。

例如，我要运行的任务是始终返回 JSON 对象的 API 调用。 JSON 对象中有一个 msg，它告诉我调用是成功还是失败。那么在这种情况下，对于 Airflow 来说，这个任务是否总是被视为成功，因为总是返回一个 JSON 对象？如果是这样，我如何在检查 msg 后向 Airflow 指示此任务的真实状态？

然后说我安排任务每周运行一次。但是如果任务失败，那么我会将它设置为每 10 分钟再重试 3 次。如果那个失败，那么我希望它在第二天再试一次。我知道我可以在 DAG 中配置 3 次重试，但是有没有办法在第二天配置重试？

解决方法

我们可以将在 Airflow 上执行的所有作业分成两类任务：

• 传感器：将运行一小段代码，并根据它返回 True 还是 False，它会执行另一个 poke 或重新安排任务执行另一个 poke 直到超时.只有在发生异常时，它才会使用与 Operator 端相同的 retry 逻辑。
• Operators：这是当手头的任务不是传感器时的逻辑。这将运行您的代码段（您的 BaseOperator），如果没有引发异常，则将其标记为成功。关于重试逻辑：如果您指定 retries=3 作为 BaseOperator 的关键字参数，它将重试 3 次。在第三次重试时，它会将任务标记为 success（如果不存在异常）或 failed（如果存在异常）。当一个任务应该被重试时，它被标记为状态 up_for_retry。