如何解决AWS Glue - ETL 脚本,用于从 S3 中读取带有标题和引用的 CSV
我正在尝试使用 AWS Glue 从 S3 读取 CDC 数据。我没有使用 Crawler,因为我不确定它是否支持对 CDC 数据处理至关重要的书签。
数据为 CSV 格式,标题和引号为“。
inputDyf = glueContext.create_dynamic_frame_from_options(connection_type = 's3',connection_options = {'paths': ['s3://' + rawS3BucketName],'groupFiles': 'none','recurse':True},format = 'csv',format_options={'withHeader':True},transformation_ctx = inputDyf)
但是,标题没有被应用,我得到
AnalysisException: "cannot resolve '`created_datetime`' given input columns: [col10,col5,col25,col19,col1,
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。