如何解决sizeLimit 属性的默认 100MB 值不适用于 Kusto 导出到外部表
我有一个指向 ADL（Azure Data Lake）存储的外部表。我没有为导出命令明确指定 sizeLimit 属性，因此默认情况下，ADX 必须根据 documentation 假设为 100MB。但是当我检查导出的数据时，一旦导出命令成功，虽然某些分区的输出 blob 大小为 100MB，但对于其他一些分区，我可以看到一个大的多 GB 文件（例如 3GB）。
这是我要导出到的外部表，如下所示：-
.create external table my_external_table (region:string,inputjson:dynamic,etl_time:datetime)
kind=adl
partition by (Date:datetime = bin(etl_time,1h),region:string = region)
pathformat = (datetime_pattern("yyyy/MM/dd/HH",Date) "/" region)
dataformat=parquet
(
h@'abfss://mycontainer@mystorage.dfs.core.windows.net/myfolder;SecretKey'
)
如何严格强制输出文件最多 100MB，如果需要向分区写入更多数据，它应该为每个 100MB 的给定分区创建多个额外的 blob。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。