如何解决在Nifi群集的3个节点中,重新启动1个节点,然后复制文件
假设我在群集中有3个节点,
- 节点A
- 节点B
- 节点C
在 state-management.xml 文件中,我具有以下配置,
<cluster-provider>
<id>zk-provider</id>
<class>org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider</class>
<property name="Connect String">192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181</property>
<property name="Root Node">/nifi</property>
<property name="Session Timeout">10 seconds</property>
<property name="Access Control">Open</property>
</cluster-provider>
我正在使用以下 zoo.cfg 配置的外部Zookeeper,
tickTime=2000
initLimit=10
synclimit=5
dataDir=./zookeeper
clientPort=2181
autopurge.snapRetainCount=30
autopurge.purgeInterval=2
quorumListenOnAllIPs=true
admin.serverPort=2515
server.1=192.168.0.10:2666:3666
server.1=192.168.0.11:2666:3666
server.1=192.168.0.12:2666:3666
所有节点都已启动并正在运行。如果我们正在处理10000个文件,并且在处理过程中,如果重新启动集群中的任何节点,则将导致重复的文件处理。最后,我们可以看到处理了10000多个文件。我可以说总共处理了12000个文件。
Processor A Which Generates Flowfile - 1
Processor A Which Generates Flowfile - 2
我怀疑某个地方的状态没有得到正确的更新或管理。如果1个节点处理了很少的文件,则其他节点不应处理这些文件。可能是我缺少一些配置。有人可以帮我解决这个问题。
先谢谢了。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。