使用Blob存储作为数据源按需对SQL中的数据进行分区

如何解决使用Blob存储作为数据源按需对SQL中的数据进行分区

在Amazon Redshift中，使用S3存储桶作为数据源时，有一种创建分区键的方法。 Link.

我正在尝试使用sql On-Demand服务在Azure Synapse中做类似的事情。

目前，我有一个存储帐户，该帐户已按以下方案进行了分区：

-Sales (folder)
  - 2020-10-01 (folder)
    - File 1
    - File 2
  - 2020-10-02 (folder)
    - File 3
    - File 4

要创建视图并提取所有4个文件，我运行了命令：

CREATE VIEW testview3 AS SELECT * FROM OPENROWSET ( BULK 'Sales/*/*.csv',FORMAT = 'CSV',PARSER_VERSION = '2.0',DATA_SOURCE = 'AzureBlob',FIELDTERMINATOR = ',',FirsTROW = 2 ) AS tv1;

如果我运行SELECT * FROM [myview]的查询，我将从所有4个文件中接收数据。

我该如何创建分区键，以便可以运行查询，例如

SELECT * FROM [myview] WHERE folderdate > 2020-10-01

这样我只能分析文件3和4中的数据？

我知道我可以编辑OPENROWSET BULK语句，但我希望能够首先从容器中获取所有数据，然后根据需要限制搜索。

解决方法

无服务器SQL可以使用文件名（您希望加载一个或多个特定文件）和文件路径（您希望在此路径中加载所有文件）来解析分区文件夹结构。有关语法和用法的更多信息，请参见在线文档。

对于您而言，您可以使用filepath（1）>'2020-10-01'这样的文件路径语法来解析'2020-10-01'以后的所有文件

为了扩展Raunak的答案，我为查询使用了以下语法。

DROP VIEW IF EXISTS testview6
GO

CREATE VIEW testview6 AS
SELECT *,r.filepath(1) AS [date]
FROM OPENROWSET (
        BULK 'Sales/*/*.csv',FORMAT = 'CSV',PARSER_VERSION = '2.0',DATA_SOURCE = 'AzureBlob',FIELDTERMINATOR = ',',FIRSTROW = 2
        ) AS [r]
WHERE r.filepath(1) IN ('2020-10-02');

您可以通过添加额外的通配符（*）和r.filepath（x）语句来调整分区的粒度。

例如，您可以创建查询，例如：

DROP VIEW IF EXISTS testview6
GO

CREATE VIEW testview6 AS
SELECT *,r.filepath(1) AS [year],r.filepath(2) as [month]
FROM OPENROWSET (
        BULK 'Sales/*-*-01/*.csv',FIRSTROW = 2
        ) AS [r]
WHERE r.filepath(1) IN ('2020')
AND r.filepath(2) IN ('10');