微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Kinesis消费者设计-单个Spring应用程序中有多个消费者

如何解决Kinesis消费者设计-单个Spring应用程序中有多个消费者

我们有10个Kinesis流,每个流包含12个碎片。为了使用此数据,我们还有10个单独的Kinesis消费者。每个使用者都是其自己的spring应用程序,该应用程序使用其自己的记录处理逻辑来更新同一数据库。每个使用者都有自己的HikariCP连接池以与数据库进行通信。消费者基于KCL。

目前,我们在ECS实例上部署了使用者,并根据需要扩展了实例数量。但是,拥有10个单独的使用者会导致可维护性问题,我们想知道对所有10个使用者使用单个春季申请是否可行。

我担心的是:

  • 是否可以在同一spring应用程序中初始化多个使用者?如果是这样,建议吗?

  • 使用这种方法,将在同一应用程序中初始化120个记录处理器(以容纳流及其对应的分片)。

  • HikariCP连接池也需要基于以下条件进行优化 一些基准测试。

  • 在将来扩展时,与为每个流维护不同的消费者应用程序相比,此方法会引起更多问题吗?

  • 灵活性较低,因为在这种情况下扩展ECS实例的数量会影响所有使用者。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。