Open Telemetry Collector 问题将跟踪数据导出到 Splunk 和/或 Kafka

如何解决Open Telemetry Collector 问题将跟踪数据导出到 Splunk 和/或 Kafka

我正在尝试将遥测信息从 .NET Core 应用程序捕获到 Kafka，然后最终捕获到 Splunk（通过 Kafka Connect 或通过开源转发器，如 Logstash 或 Fluentd）。最初，我只查看跟踪数据，但也会查看某个阶段的日志和指标。

我很想测试开放遥测收集器方法，因为这是我感兴趣的东西。

我正在使用 docker 和 docker-compose，因此我可以在本地测试所有内容 - 有关 docker-compose 文件，请参阅 here。

我目前面临的主要问题是让 Open Telemetry Collector 代理在 docker 中运行。我已经尝试导出到 Splunk 和 Kafka，但两者都出现错误：

尝试使用 splunk_hec exporter 将跟踪信息直接导出到 Splunk 时，如下所示：

exporters:
  splunk_hec:
    token: "${SPLUNK_HEC_TOKEN}"
    endpoint: "${SPLUNK_HEC_URL}"
    source: "otel"
    sourcetype: "otel"
    insecure_skip_verify: true

service:
  pipelines:
    traces:
      receivers: [otlp]
      exporters: [splunk_hec]

我收到以下错误：

酒店|错误：无法加载配置：未知导出器为 splunk_hec 键入“splunk_hec”

酒店| 2021/03/04 05:47:13 应用程序运行完成，但出现错误：无法加载配置：未知导出器为 splunk_hec 键入“splunk_hec”

当尝试使用 kafka exporter 将跟踪信息导出到 Kafka 时，如下所示：

exporters:
  kafka:
    brokers:
      - "${KAFKA_URL}"
    protocol_version: 2.0.0

service:
  pipelines:
    traces:
      receivers: [otlp]
      exporters: [kafka]

我收到以下错误 - 请注意，我正在为 Kafka 使用 landoop/fast-data-dev 图像（因为这是在我发现的前几个教程中使用的），而且我对 Kafka 还很陌生：

酒店|错误：无法设置管道：无法构建 builtExporters：创建 kafka 导出器时出错：kafka：客户端已用完可用的代理（您的集群是否可访问？）

酒店| 2021/03/04 05:32:08 应用程序运行完成，但出现错误：无法设置管道：无法构建 builtExporters：创建 kafka 导出器时出错：kafka：客户端已用完可用的代理（您的集群是否可访问？）>

我的 otel-agent-config.yaml（这是一个 WIP）是 here。

有谁知道这些问题是什么以及如何解决它们...