Meltano Kafka Monk.io 集成

如何解决Meltano Kafka Monk.io 集成

我在玩 Monk.io 和 Kafka - Meltano 集成。 所以，我想创建一个 Monk.io Kafka 集群并在 Meltano 上提供一个新连接。 我正在将 https://github.com/lensesio/fast-data-dev 用于 Kafka 环境。 什么是最好的方法并且最有意义？ 我打算这样做： 创建 Kafka 和 Meltano 的可运行对象，并为 Meltano 模板创建 Monk 操作。 这些操作将具有自定义 Meltano 加载器，为 Kafka 提供管道。

解决方法

我尚未测试与 Kafka 的集成，但在操作执行方面应该与 Postgres 类似，即如果 Meltano 存在这些 Kafka 插件，则添加加载器或提取器。

  actions:
    defines: actions
    add:
      arguments:
        resource-type:
          type: string
        resource-name:
          type: string
      code: exec("meltano","/bin/sh","-c",`cd elt && meltano add ${args["resource-type"]} ${args["resource-name"]}`)

这里的工作流和模板被抽象了https://github.com/monk-io/monk-dataops所以更多的是Meltano是否有好的Kafka插件的问题