如何解决如何在 GoogleCloudStorageToBigQueryOperator 的气流作业中设置 useAvroLogicalTypes?
我想在不指定架构的情况下将 avro 文件加载到 BQ,因为 BQ 会自动检测 avro 文件的架构。但是它不会选择逻辑类型并将其转换为整数。我看到在 Airflow BQ hook 中合并了一个 PR,但我不知道如何在我的工作中启用它。这是我需要添加到这里的参数吗?
解决方法
您可以通过 src_fmt_configs 参数将其传递给 GoogleCloudStorageToBigQueryOperator,其值是一个字典,如: {'useAvroLogicalTypes': True}
您的代码将是:
load_transformed_data = GoogleCloudStorageToBigQueryOperator(
task_id="gcs_to_bq",bucket="mybucket",source_objects=["myfile.avro"],destination_project_dataset_table="dataset.test_schema_object",source_format="avro",write_disposition="WRITE_APPEND",src_fmt_configs={'useAvroLogicalTypes': True},dag=dag,)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。