微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

在Nifi群集的3个节点中,重新启动1个节点,然后复制文件

如何解决在Nifi群集的3个节点中,重新启动1个节点,然后复制文件

假设我在群集中有3个节点,

  1. 节点A
  2. 节点B
  3. 节点C

state-management.xml 文件中,我具有以下配置,

<cluster-provider>
        <id>zk-provider</id>
        <class>org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider</class>
        <property name="Connect String">192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181</property>
        <property name="Root Node">/nifi</property>
        <property name="Session Timeout">10 seconds</property>
        <property name="Access Control">Open</property>
</cluster-provider>

我正在使用以下 zoo.cfg 配置的外部Zookeeper,

tickTime=2000
initLimit=10
synclimit=5
dataDir=./zookeeper
clientPort=2181
autopurge.snapRetainCount=30
autopurge.purgeInterval=2
quorumListenOnAllIPs=true
admin.serverPort=2515

server.1=192.168.0.10:2666:3666
server.1=192.168.0.11:2666:3666
server.1=192.168.0.12:2666:3666

所有节点都已启动并正在运行。如果我们正在处理10000个文件,并且在处理过程中,如果重新启动集群中的任何节点,则将导致重复的文件处理。最后,我们可以看到处理了10000多个文件。我可以说总共处理了12000个文件

生成文件的处理器配置

Processor A Which Generates Flowfile - 1

Processor A Which Generates Flowfile - 2

我怀疑某个地方的状态没有得到正确的更新或管理。如果1个节点处理了很少的文件,则其他节点不应处理这些文件。可能是我缺少一些配置。有人可以帮我解决这个问题。

先谢谢了。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。