使用 Azure 数据资源管理器使用动态值汇总和透视数据集中的数据

如何解决使用 Azure 数据资源管理器使用动态值汇总和透视数据集中的数据

我们在 Azure 数据资源管理器中有一个采用以下格式的数据集，其中时间戳为毫秒级别，并且数据正在大量流入。

sensorid	时间戳	价值
阀门 1	24-03-2021	123
阀门 1	23-03-2021	234
汽缸速度	23-03-2021	1.2
产​​品代码	23-03-2021	ABC
产​​品代码	24-03-2021	定义

在上述数据中，阀门1和气缸速度传感器每秒报告多次，但当生产线开始生产另一个产品时，将报告产品代码。

通过这个 Kusto 查询，我们可以将所有数值导出到可以导入 Excel 或 PowerBi 的表格中

FactoryData
| where sourcetimestamp > ago(1h)
| summarize average=avg(todouble(value)) by bin(timestamp,1s),sensorid
| evaluate pivot(sensorid,any(average))

我想更改此查询，以便在平均值上完成汇总，如上所示，如果值是数字，但如果不是数字则在字符串上。

更新： 我感兴趣的结果是一个看起来像这样的表，其中 sensorid 值已转为列

时间戳	valve1	汽缸速度	产品代码
23-03-2021	123	1,2	ABC
24-mars	234		定义

对于使用上面显示的查询的数字数据，这很容易实现。我也可以这样做：

FactoryData
| where sourcetimestamp > ago(1h)
| summarize binvalue=any(value) by bin(sourcetimestamp,any(binvalue))

这将产生想要的结果，但如果一个传感器在一秒内有多个数值，这将取任何其中之一，而不是计算平均值。

所以问题是，如何更改上述查询，以便对于数字传感器，binvalue 将是平均值，而对于字符串传感器，它将是 bin 中的任何值。

解决方法

我不确定您要通过以下行实现什么目标： | summarize average=iif(value>0,avg(todouble(value)),any(value)) by bin(timestamp,1s),sensorid

您正在尝试检查是否 value>0，但这在 summarize 中不起作用，因为 summarize 对所有值都已完成（更不用说它不能作为value 的类型为 string。

或者您是说 value 列中的字符串可能代表某些记录的数字，因此您想找出（每个 sensorId）数字的平均值，并取任何非数值？

如果是这样，这就是您要走的路：

FactoryData
| where sourcetimestamp > ago(1h)
| extend ValueAsDouble = todouble(value)
| extend ValueAsString = iff(isnull(ValueAsDouble),value,"N/A")
| summarize avg(ValueAsDouble),make_set(ValueAsString,2) by sensorId
| mv-expand set_ValueAsString
| where set_ValueAsString != "N/A"
| summarize any(avg_ValueAsDouble),any(set_ValueAsString) by sensorId

最好的方法是在摄取时将数字和非数字值分隔到不同的列中，这将使查询更易于阅读，也更高效。