Kusto logstash 实时更新系统日志

如何解决Kusto logstash 实时更新系统日志

我希望每个人都做得很好。

我有一个关于 azure data explorer 和 logstash 的问题。

我按照此 Microsoft 教程使用 Kusto 和 logstash 配置了 azure 数据浏览器。

https://docs.microsoft.com/en-us/azure/data-explorer/ingest-data-logstash

我创建了一个 azure 数据浏览器，为数据创建了一个表。另一方面，我固定了一个虚拟机，安装了 logstash 并配置了将系统日志转发到 azure 数据浏览器所需的所有最低要求。

一切都很好，我没有任何问题，但有一个步骤让我有点烦恼，希望得到一些澄清。

我想使用来自我的虚拟机的实时系统日志来测试这个项目。

所以我为 logstash 配置了 conf 文件，如下所示：

input {
  tcp {
    port => 514
 }
}
output {
  kusto {
    path => "/tmp/kusto/%{+YYYY-MM-dd-HH-mm-ss}.txt"
    ingest_url => "my-ingest-url"
    app_id => "app-id"
    app_key => "secret"
    app_tenant => "tenant"
    database => "db"
    table => "table"
    json_mapping => "mapping"
 }
}

为了测试这一点，我安装了 kiwi syslogs 生成器，并开始每秒发送一次数据。一切正常，但数据浏览器需要 10 分钟才能显示这些系统日志。

根据我的理解和配置文件。对于转发的每个系统日志，kusto 在 tmp 文件夹中创建一个文件，写入该系统日志，然后关闭该文件。

path => "/tmp/kusto/%{+YYYY-MM-dd-HH-mm-ss}.txt"

在这个过程之后，需要 10 分钟才能在我的数据浏览器中看到它的可视化。

这对我来说是一个问题，因为我想要做的是拥有一个每 12 小时触发一次的 azure 函数，并定位自那个特定时刻以来的所有数据，而不会将任何数据留在外面，因为仍处于待处理状态。

我不知道我是否正确解释了我的问题，但是如果您有任何问题，请随时提出。

解决方法

对于在 Kusto 中显示所需的 10 分钟，这可能是由于表中的 ingestionbatching policy 默认批处理时间为 5 分钟。如果您希望数据显示得更快，您可以将 MaximumBatchingTimeSpan 设置为小于此值，其中 10 秒是最小值，请注意批处理窗口太小可能会对集群性能产生不利影响。

我不确定 Azure 功能与场景有何关联，能否请您澄清一下？