如何解决Airflow插件可预览本地数据文件
我将Airflow用于我的ETL管道,并使用本地pickle文件将数据(通常是pandas DataFrames)存储在某些临时文件夹中。我想直接使用plugin从Airflow UI导航和预览这些本地数据文件。
这是我第一次尝试,使用Flask-Admin
中的FileAdmin
类:
from airflow.plugins_manager import AirflowPlugin
from flask_admin.contrib.fileadmin import FileAdmin
DATA_PATH = '/tmp/somepath'
class DataFileAdmin(FileAdmin):
# read only
can_upload = False
can_delete = False
can_mkdir = False
can_delete_dirs = False
can_rename = False
dfv = DataFileAdmin(DATA_PATH,'/static/',name='Data Explorer')
class AirflowTestPlugin(AirflowPlugin):
name = "data_explorer"
admin_views = [dfv]
将其放入plugins/data_explorer.py
会在Airflow UI中(上方栏中)产生一个“数据资源管理器”按钮,从而可以浏览指定文件夹中的文件。好。
现在:当我单击一个泡菜文件时如何指定行为??这意味着这些文件(泡制的DataFrame)应该由pandas.read_pickle()
读取,然后以“ HTML表格(或Plotly图,甚至更好的是一些交互式表格,可以对其进行排序和过滤。欢迎提出建议!)。谢谢。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。