如何解决从 S3
我正在尝试以编程方式从 S3 解压缩和读取 .zst 文件(即不下载它并在其上运行命令行解压缩)。
这是我正在运行的代码:
import boto3
import zstandard
import os
import io
AWS_S3_BUCKET = os.getenv("AWS_S3_BUCKET")
AWS_ACCESS_KEY_ID = os.getenv("AWS_ACCESS_KEY_ID")
AWS_SECRET_ACCESS_KEY = os.getenv("AWS_SECRET_ACCESS_KEY")
zstd = zstandard.ZstdDecompressor()
s3_client = boto3.client(
"s3",aws_access_key_id=AWS_ACCESS_KEY_ID,aws_secret_access_key=AWS_SECRET_ACCESS_KEY,)
response = s3_client.get_object(Bucket='AWS_S3_BUCKET',Key="folder/example_file_name.zst")
status = response.get("ResponseMetadata",{}).get("HTTPStatusCode")
# decompressed = decomp.decompress(response.get("Body").read())
## OR
# with zstd.stream_reader(io.BytesIO(response.get("Body").read())) as r:
# decompressed = r.read()
所以我正在尝试以“## OR”分隔的两行中的任何一行。第一个告诉我它没有关于数据长度的任何信息,所以我试图输入“max_output_size=number_from_file_Metadata”但它给出了同样的错误:
ZstdError:从帧头确定内容大小时出错
然后使用“with...”语句,它给出了这个错误:
ZstdError:zstd 解压错误:未知的帧描述符
据我所知,第二个错误意味着该文件不是真正使用 .zstd 压缩的,或者它是使用“magicless”压缩进行压缩的,并且解压缩无法识别该属性。我是从这里得到的:https://github.com/indygreg/python-zstandard/issues/79
但这真的不清楚,而且似乎没有多少人遇到过这个问题。非常感谢任何帮助。
解决方法
解压文件后不清楚你想做什么。如果这有帮助,这就是我将 zstd 文件读入 Pandas 的方法:
resp = boto3.client('s3').get_object(Bucket=bucket,Key=key)
data = io.BytesIO(resp['Body'].read())
pd.read_feather(data)
我在读取 zstd 文件时遇到了很多问题,因为我对文件的实际写入不正确。从数据帧写入时,它在日期格式和正确索引方面非常奇特。
综上所述,这对您的情况可能没有任何意义 b/c 目前尚不清楚您的文件是什么样子或您的最终目标是什么。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。