我可以为两个不同的 Nifi 集群使用相同的 flow.xml.gz 吗？

如何解决我可以为两个不同的 Nifi 集群使用相同的 flow.xml.gz 吗？

我们有一个 13 节点的 nifi 集群，大约有 5 万个处理器。 flow.xml.gz 的大小约为 300MB。调起13个节点的Nifi集群，通常需要8-10个小时。最近我们将集群拆分为两部分，5nodes 集群和 8nodes 集群，两者都具有相同的 300MB flow.xml.gz。从那以后，我们无法在两个集群中都安装 Nifi。此外，我们没有看到与此问题相关的任何有效日志。是否可以使用相同的 flow.xml.gz 。在拆分 Nifi 集群时，我们可能缺少哪些最佳实践。

解决方法

您提出了许多问题，这些问题都归结为“如何使用非常大的 flow.xml.gz 提高我们的 NiFi 集群的性能”。 如果没有关于您的集群及其中的流程的更多详细信息，我无法给出明确或保证可行的答案，但我可以指出一些步骤。

如果不拆分流，拆分集群是没有用的。

是的，您会在一定程度上减少集群通信开销，但您可能有许多设置为“仅限主节点”的输入处理器。如果您在两个集群上加载相同的 flow.xml.gz，两个集群都会有一个主节点执行这些，从而导致争用问题。

更重要的是，由于每个节点仍加载所有 flow.xml.gz（可能解压缩为 4 Gb），您没有任何其他性能优势，并且在启动时验证流中的 50k 处理器仍然需要很长时间。

如何拆分集群

以您所做的方式拆分集群可能会留下对现在位于另一个集群中的节点的引用，例如在本地状态目录中。对于 NiFi 集群，这可能会导致选择新的集群协调器和主节点时出现问题，因为无法达到法定人数。

首先从集群 GUI 中断开、卸载和删除这些节点会更清晰，以便删除这些引用。然后可以将这些节点配置为具有空流的新集群。即使您稍后再次使用旧流程，也请使用空流程对其进行测试以使其更快。

由于您已经拆分了集群，我会尝试启动 8 成员集群中的一个节点，看看您是否可以访问集群菜单来删除拆分的节点（断开连接和卸载可能不再起作用）。然后对于集群的其他 7 个成员，删除 flow.xml.gz 并启动它们。他们应该从正在运行的节点复制流。您应该调整 nifi.properties (nifi.cluster.flow.election.max.candidates) 中预期的候选人数，使其不大于节点数，以稍微加快此过程。

如果成功，则 300 MB 的流在 8 成员集群上运行，而在新的 5 成员集群上有一个空流。 将新集群连接到您的开发管道（NiFi 注册表、模板或其他）。然后，您可以停止 8 成员集群上的进程组，将它们导入到新集群上，并在验证流在新集群上运行后，从旧集群中删除进程组，慢慢缩小它。

如果您没有管道或者重新创建所有控制器和参数上下文的工作量太大，您可以将 flow.xml.gz 的副本复制到一个新节点，仅启动该节点并删除所有您不需要的内容不需要。只有在此之后，您才应该再次启动其他（使用它们的空 flow.xml.gz）。

要获得更多专家建议，您还应该尝试使用 Apache NiFi 用户电子邮件列表。如果您在问题中提供了足够多的相关详细信息，那么那里的某个人可能知道您的集群出了什么问题。