如何解决从大型 json 文件摄取到 kusto 从 blob - 扩展对象数组
我正在尝试将 json 文件摄取到 kusto(.zip 文件)中,并使用更新策略进一步处理 json
Approach 1 :file has following contents
{
"id": "id0","logs": [
{
"timestamp": "2021-05-26T11:33:26.182Z","message": "test message 1"
},{
"timestamp": "2021-05-26T11:33:26.182Z","message": "test message 1"
}
]
}
.create table test (
logs : dynamic
)
.create-or-alter table test ingestion json mapping 'testmapping'
'['
'{"column":"logs","path":"$.logs","datatype":"","transform":"None"}'
']'
.ingest into table test(
h@"sasUrlfromazureBlob"
)
with (
format = "multijson",ingestionMappingReference = "testmapping",zipPattern = "*"
)
以上是在一行中摄取整个日志数组,但我希望将其扩展为多行
方法二:
Input file conatains:
[
{
"timestamp": "2021-05-26T11:33:26.182Z","message": "test message 1"
}
]
.create table test (
logs : dynamic
)
.create-or-alter table test ingestion json mapping 'testmapping'
'['
'{"column":"logs","path":"$","transform":"None"}'
']'
上面很好地将日志扩展为多行(本例中为 2 行) 但是当我从对象(方法 1)中选择数组时,它会转储到单行中,问题是,动态数据类型的数据限制为 1MB
解决方法
如果问题是从选项 #1 中的输入数据转换为选项 #2 中的所需数据,您应该使用外部服务进行转换,例如,读取格式为 # 的数据的 Azure 函数1 并将其写为 #2。
附带说明,使用选项 #2,您会丢失“id”属性。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。