微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Kafka Connect和Mongo源连接器具有管道中的查找聚合阶段

如何解决Kafka Connect和Mongo源连接器具有管道中的查找聚合阶段

我在mongoDB中具有以下三个集合:

//Drinkers
{
    "drinkerId" : "ID1","name" : "name","lastName" : "lastname"
}

//Drinks
{
    "drinkId" : "ID2","drinkName" : "wine","alcoholPercent" : 0.12
}
//Happy-Hours
{
    "drinkerId" : "ID1","drinkId" : "ID1"
}

我还通过以下mongo管道在欢乐时光集合上提交了一个kafka连接器实例。

    [
      {
        "$match": {
          "operationType": "insert"
        }
      },{
        "$lookup": {
          "from": "drinkers","localField": "fullDocument.drinkerId","foreignField": "drinkerId","as": "drinkerInfo"
        }
      },{
        "$unwind": "$drinkerInfo"
      },{
        "$lookup": {
          "from": "drinks","localField": "fullDocument.drinkId","foreignField": "drinkId","as": "drinkInfo"
        }
      },{
        "$unwind": "$drinkInfo"
      }
    ]

当我查看kafka-connect日志时,看到以下消息:

WARN无法恢复更改流:不允许在$ lookup中输入 $ changeStream管道20

消息未发布到该主题

我的实际用例是,我将在饮酒者和饮料收藏者中插入较大的mongodb文档,而我想在欢乐时光收藏中插入较小的文档。最终消费者需要喝酒者和饮料信息。

我是否有另一种方法来检索饮酒者和饮料信息并获得发布给该主题的详细消息?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。