Azure 数据资源管理器批处理策略修改

如何解决Azure 数据资源管理器批处理策略修改

我有大量数据从 Eventhub 流向 Azure 数据资源管理器。目前我们没有对批处理策略做任何修改，所以它是每 5 分钟调度一次。但我们需要将其降低到较小的值，以减少端到端延迟。

如何计算此设置的理想批处理时间。有没有什么基于ADX的cpu和Eventhub上的Data ingestion的计算，以便在不影响ADX的cpu使用的情况下算出一个理想的时间

解决方法

目前没有任何工具或其他功能允许您执行此操作，您需要尝试对“MaximumBatchingTimeSpan”进行所需设置并观察对 CPU 使用率的影响。

,

基本上，如果您正在摄取大量数据（每个表），您可能没有使用 5 分钟的批处理窗口，或者可以在没有不利影响的情况下显着减少它。 请查看您的集群 (https://docs.microsoft.com/en-us/azure/data-explorer/using-metrics#ingestion-metrics) 的延迟和批处理指标，并查看 a) 如果您的实际延迟低于 5 分钟 - 这表明批处理不是由时间驱动的，以及 b) 是什么您的集群最常使用的“批处理类型” - 时间/大小/项目数。 根据这些数字，您可以调整摄取批处理策略的时间部分。