如何使用 StorageStreamDownloader 从 Blob 流式下载并将上传流式传输到不同的 Blob？

如何解决如何使用 StorageStreamDownloader 从 Blob 流式下载并将上传流式传输到不同的 Blob？

我相信我有一个非常简单的需求，但一个解决方案让我感到困惑。我是 azure-python-sdk 的新手，其新的 Blob 流功能收效甚微。

一些背景

我已经使用 Java SDK 好几年了。每个 CloudBlockBlob 对象都有一个 BlobInputStream 和一个 BlobOutputStream 对象。当 BlobInputStream 打开时，可以调用它的许多函数（最显着的是它的 read() 函数）以真正的流式方式检索数据。一个 BlobOutputStream 一旦被检索到，就有一个 write(byte[] data) 函数，在这个函数中，人们可以根据需要不断地写入数据，直到调用 close() 函数为止。所以，我很容易做到：

1. 获取一个 CloudBlockBlob 对象，打开它的 BlobInputStream 并基本上取回一个“绑定”到 InputStream 的 CloudBlockBlob。它通常维护 4MB 的数据 - 至少，这是我的理解。当从其缓冲区读取一定量的数据时，会引入一个新的（相同数量的）数据，因此它总是有大约 4MB 的新数据（直到所有数据都被检索到）。
2. 对该数据执行一些操作。
3. 检索我要上传到的 CloudBlockBlob 对象，获取它的 BlobOutputStream，然后将我对其进行了一些操作的数据写入其中。

一个很好的例子是如果我想压缩一个文件。我有一个 GzipStreamReader 类可以接受一个 BlobInputStream 和一个 BlobOutputStream。它会从 BlobInputStream 读取数据，并在压缩一定数量的数据时写入 BlobOutputStream。它可以根据需要多次调用 write()；当它读完所有 daya 时，它会关闭 Input 和 Output 流，一切都很好。

现在使用 Python

现在，Python SDK 有点不同，这显然是有充分理由的； io 模块的工作方式不同于 Java 的 InputStream 和 OutputStream 类（Blob{Input/Output}Stream 类继承自它们。我一直在努力理解流在 Azure 的 Python SDK 中是如何真正工作的。首先，我只是想看看 StorageStreamDownloader 类是如何工作的。似乎 StorageStreamDownloader 是我正在从中读取数据的 BlockBlob 对象的“连接”。如果我想将数据放入流中，我会创建一个新的 io.BytesIO() 并将该流传递给 StorageStreamDownloader 的 readinto 方法。

对于上传，我会调用 BlobClient 的 upload method。上传方法接受类型为 data 的 Union[Iterable[AnyStr],IO[AnyStr]] 参数。

我不想详细说明我所理解的，因为我所理解的和我所做的使我一无所获。我怀疑我期待的是只有 Java SDK 提供的东西。但是，总的来说，以下是我遇到的问题：

1. 当我调用 download_blob 时，我会返回一个 StorageStreamDownloader，其中包含 blob 中的所有数据。一些调查表明我可以使用 offset 和 length 下载我想要的数据量。也许我可以用 download_blob(offset=0,length=4MB) 调用一次，处理我返回的数据，然后再次调用 download_bloc(offset=4MB,length=4MB)，处理数据等。这是不利的。我可以做的另一件事是使用 max_chunk_get_size 的 BlobClient 参数并打开 validate_content 标志（使其为真），以便 StorageStreamDownloader 仅下载 4mb。但这都会导致几个问题：这并不是真正从 stream 对象流式传输的。我仍然需要多次调用 download 和 readinto。好吧，如果不是因为第二个问题，我会这样做：
2. 我该如何流式传输上传？上传可以采用流。但如果流本身不自动更新，那么我只能上传一次，因为我处理的所有 blob 必须 都是 BlockBlobs。 upload_function 函数的文档说我可以提供一个参数 overwrite ：

keyword bool overwrite：要上传的blob是否覆盖当前数据。 如果为 True，upload_blob 将覆盖现有数据。如果设置为 False，则 操作将因 ResourceExistsError 失败。上述情况的例外是 Append blob 类型：如果设置为 False 并且数据已经存在，则不会引发错误 并且数据将附加到现有的 blob。如果设置 overwrite=True，则现有的 append blob 将被删除，并创建一个新的 blob。默认为 False。

2. 这是有道理的，因为 BlockBlobs 一旦写入，就无法再次写入。所以AFAIK，你不能“流式传输”上传。如果我不能拥有一个直接绑定到 blob 的流对象，或者无法保存所有数据，那么 upload() 函数将在完成后立即终止，对吗？

好的。我确定我遗漏了一些重要的东西。对于 Python 中的 io 模块，我也有些无知。虽然我已经用 Python 开发了很长时间，但我从来没有真正需要太密切地处理那个模块。我确定我遗漏了一些东西，因为这个功能非常基础并且存在于我所知道的所有其他 azure SDK 中。

回顾

我上面说的都可以老老实实的忽略，只看这部分；我只是想表明我已经做了一些尽职调查。我想知道如何从 blob 流式传输数据，处理我在流中获得的数据，然后上传该数据。我无法一次接收所有 blob 中的数据。 Blob 可能超过 1GB 和所有漂亮的东西。老实说，我会喜欢一些显示的示例代码：

1. 从流中的 blob 中检索一些数据（在一次调用中收到的数据不应超过 10MB）。
2. 压缩该流中的数据。
3. 将数据上传到 blob。

这应该适用于所有大小的斑点；无论是 1MB 还是 10MB 或 10GB 都不重要。步骤 2 可以是任何东西；它也可以什么都没有。只要数据被下载，插入到流中，然后上传，那就太好了。当然，另一个极其重要的限制是每次“下载”的数据量不应超过 10MB。

我希望这是有道理的！我只想流式传输数据。这应该不难。

编辑：

有些人可能想关闭此问题并声称该问题是重复的。我忘记包含一些非常重要的内容：我目前使用的是最新，最新的 azure-sdk 版本。我的 azure-storage-blob 软件包的版本是 12.5.0。还有其他问题类似于我对严重过时版本的要求。我已经搜索了其他答案，但没有找到任何适用于 12+ 版本的答案。

解决方法

如果你想分块下载azure blob，处理每一个chunk数据并将每一个chunk数据上传到azure blob，请参考以下代码

import io
import os
from azure.storage.blob import BlobClient,BlobBlock
import uuid
key = '<account key>'

source_blob_client = BlobClient(account_url='https://andyprivate.blob.core.windows.net',container_name='',blob_name='',credential=key,max_chunk_get_size=4*1024*1024,# the size of chunk is 4M
                                max_single_get_size=4*1024*1024)

des_blob_client = BlobClient(account_url='https://<account name>.blob.core.windows.net',credential=key)
stream = source_blob_client.download_blob()
block_list = []
#read data in chunk
for chunk in stream.chunks():
    #process your data 
    
    # use the put block rest api to upload the chunk to azure storage
    blk_id = str(uuid.uuid4())
    des_blob_client.stage_block(block_id=blk_id,data=<the data after you process>)
    block_list.append(BlobBlock(block_id=blk_id))

#use the put blobk list rest api to ulpoad the whole chunk to azure storage and make up one blob
des_blob_client.commit_block_list(block_list)

另外，如果你只是想将一个blob从存储位置复制到另一个存储位置，可以直接使用方法start_copy_from_url