气流远程 PythonOperator

如何解决气流远程 PythonOperator

我的语言环境文件中有一个 python 脚本，我不想将它 SCP 到远程机器并使用由气流远程触发的 SSHOperator 运行。如何在远程机器上运行语言环境 .py 文件并获得结果？

我需要带有 python_callable 的 SSHOperator，而不是 bash_command。

谁能给我看一个像 SSHPYTHOnoperator 这样的远程自定义操作符示例？

我解决了以下问题：

gettime="""
import os
import datetime

def gettimes():
   print(True)

gettimes()
"""

remote_python_get_delta_times=SSHOperator(task_id= "get_delta_times",do_xcom_push=True,command="MYVAR=`python -c" + ' "%s"`;echo $MYVAR' % gettime,dag=dag,ssh_hook=remote)

解决方法

我在 Airflow 文档中看到了一个 SSH 操作符：https://airflow.apache.org/docs/apache-airflow/1.10.13/_api/airflow/contrib/operators/ssh_operator/index.html

如果这对您不起作用，则您必须使用 SSH 库（如 Paramiko）创建自定义 Operator 然后使用它从 Github/S3 或 SCP 中提取代码到服务器，然后在那里执行。

您需要确保远程服务器上也安装了所有依赖项。