如何解决使用python将抓取的数据直接保存到azure blob存储
我的需求如下：
我需要使用 azure 函数从网页中抓取数据，并将抓取输出以 .csv 或 .parquet 格式直接保存到 azure blob 存储中。
请看示例代码：
response = requests.get('example_url')
json_response = response.json()
name = json_response.get('name','N/A')
with open('warsaw.txt','w') as f:
f.write(name)
如何使用 f 将 Blob Service Client 直接写入 azure blob 存储？
解决方法
我需要使用 azure 函数从网页中抓取数据，并且 将抓取输出作为 .csv 文件直接保存到 azure blob 存储 或 .parquet。
我认为您可以使用“追加”方法来实现您的要求：
from azure.storage.blob import BlobServiceClient,BlobClient,ContainerClient,BlobType
try:
connect_str = "DefaultEndpointsProtocol=https;AccountName=1123bowman;AccountKey=xxxxxx;EndpointSuffix=core.windows.net"
container_name = "test"
blob_name = "test.txt"
data1 = "\n1,2,3"
data = str.encode(data1)
blob_service_client = BlobServiceClient.from_connection_string(connect_str)
blob_client = blob_service_client.get_blob_client(container=container_name,blob=blob_name)
print("length of data is "+str(len(data)))
blob_client.append_block(data,length=len(data))
except:
connect_str = "DefaultEndpointsProtocol=https;AccountName=1123bowman;AccountKey=xxxxxx;EndpointSuffix=core.windows.net"
container_name = "test"
blob_name = "test.txt"
data1 = "test1,test2,test3"
data = str.encode(data1)
blob_service_client = BlobServiceClient.from_connection_string(connect_str)
blob_client = blob_service_client.get_blob_client(container=container_name,blob=blob_name)
print("length of data is "+str(len(data)))
blob_client.upload_blob(data,blob_type=BlobType.AppendBlob)
通过上述方法，您不必每次都存储整个 blob。
,你可以使用Azure Storage Blobs client library for Python
有关如何将文件上传到 Azure 存储 Blob 的示例：
from azure.storage.blob import BlobClient
blob = BlobClient.from_connection_string(conn_str="<connection_string>",container_name="my_container",blob_name="my_blob")
with open("./warsaw.txt","rb") as data:
blob.upload_blob(data)
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
