如何解决从阿里巴巴OSS读取对象并使用pandas修改它python
所以,我的数据是阿里云OSS存储桶中的csv文件格式。 我目前正在执行一个 Python 脚本,其中:
- 我将文件下载到我的本地机器上。
- 在我的本地机器上使用 Python 脚本进行更改。
- 将其存储在 AWS 云中。
我必须修改这个方法并在阿里云中安排一个cron作业来自动运行这个脚本。 Python脚本会上传到阿里云的任务管理中。
所以新的步骤将是:
我被困在第一步本身。 错误日志:OSS2 和 Pandas 的“未找到模块”。
正确的做法是什么?
这是我的脚本的草稿(关于如何能够在我的本地机器上执行脚本):
import os,re
import oss2 -- **throws an error. No module found.**
import datetime as dt
import pandas as pd -- **throws an error. No module found.**
import tarfile
import MysqL.connector
from datetime import datetime
from itertools import islice
dates = (dt.datetime.Now()+dt.timedelta(days=-1)).strftime("%Y%m%d")
def download_file(access_key_id,access_key_secret,endpoint,bucket):
#Authentication
auth = oss2.Auth(access_key_id,access_key_secret)
# Bucket name
bucket = oss2.Bucket(auth,bucket)
# Download the file
try:
# List all objects in the fun folder and its subfolders.
for obj in oss2.ObjectIterator(bucket,prefix=dates+'order'):
order_file = obj.key
objectName = order_file.split('/')[1]
df = pd.read_csv(bucket.get_object(order_file)) # to read into pandas
# FUNCTION to modify and upload
print("File downloaded")
except:
print("Pls check!!! File not read")
return objectName
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。