如何解决气流.gz文件大小限制?
每当我的.gz文件超过2 GB大小限制时,我都会收到此错误“字符串长于2147483647字节”。无论如何,我可以忽略它还是解决这个问题?
task1 = FiletoGoogleCloudStorageOperator(
task_id='task1',bucket='myBucket',src='/mypath/myfile.csv',dst='myfileGCS.csv',gzip=True,google_cloud_storage_conn_id='gc_cloud_conn',mime_type='text/plain',dag=dag)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。