如何解决为什么 s3.to_parquet 在发布到 AWS Glue 时切换数据类型?
我正在创建一个像这样的数据框:
concatdatafile = pd.concat(datafile,axis=0,ignore_index=True,sort=False)
然后在发布前检查一些字段数据类型:
logger.info(" *** concatdatafile['FS Seal Time (sec)'].dtypes={}".format(concatdatafile['FS Seal Time (sec)'].dtypes))
logger.info(" *** concatdatafile['FS Cool Time (sec)'].dtypes={}".format(concatdatafile['FS Cool Time (sec)'].dtypes))
我的下一个语句是写:
response_wr = wr.s3.to_parquet(df=concatdatafile,path=s3_outputpath + 'full_data/',dataset=True,partition_cols=["MachineId","year_num","month_num","day_num"],database='myDB',table='myDBTable',mode='append')
(注意:我在运行前清除了胶水定义,所以它会有新的元数据)
问题:...为什么不尊重我发布的数据类型? 它看到数据看起来像双打(目前),但这无关紧要。稍后的数据将是字符串,所以我希望它不会覆盖我发送的类型。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。