微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

启动NIFI ..时遇到异常:java.nio.file.FileSystemException:./state/local/partition-0/107654.journal:打开的文件太多

如何解决启动NIFI ..时遇到异常:java.nio.file.FileSystemException:./state/local/partition-0/107654.journal:打开的文件太多

启动NiFi时失败,并显示以下错误

    at org.springframework.beans.factory.support.Abstractbeanfactory.getBean(Abstractbeanfactory.java:202)
    at org.springframework.context.support.AbstractApplicationContext.getBean(AbstractApplicationContext.java:1086)
    at org.apache.nifi.web.contextlistener.ApplicationStartupContextListener.contextinitialized(ApplicationStartupContextListener.java:55)
    ... 37 common frames omitted

原因:org.springframework.beans.factory.BeanCreationException:创建名称为“ flowController”的bean时出错:factorybean对象创建时抛出异常;嵌套的异常是 java.lang.RuntimeException:java.nio.file.filesystemexception:./state/local/partition-0/107654.journal:打开的文件太多 在org.springframework.beans.factory.support.factorybeanRegistrySupport.doGetobjectFromfactorybeanfactorybeanRegistrySupport.java:185)

我已调试,发现在所有分区中都有大量文件创建

/usr/lib/NiFi/NiFi/nifi-1.11.4/state/local

分区0分区11分区14分区3分区6分区9 分区1分区12分区15分区4分区7快照 分区10分区13分区2分区5分区8 wali.lock

就像我选择了任何分区文件夹一样...假设我选择了partition-0,这样在很多日记条目中我都可以看到

107018.journal 107632.journal 108246.journal 108860.journal 109474.journal 110088.journal 107019.journal 107633.journal 108247.journal 108861.journal 109475.journal 110089.journal 107020.journal 107634.journal 108248.journal 108862.journal 109476.journal 110090.journal 107021.journal 107635.journal 108249.journal 108863.journal 109477.journal 110091.journal 107022.journal 107636.journal 108250.journal 108864.journal 109478.journal 110092.journal 107023.journal 107637.journal 108251.journal 108865.journal 109479.journal 110093.journal 107024.journal 107638.journal 108252.journal 108866.journal 109480.journal 110094.journal 107025.journal 107639.journal 108253.journal 108867.journal 109481.journal 110095.journal 107026.journal 107640.journal 108254.journal 108868.journal 109482.journal 110096.journal 107027.journal 107641.journal 108255.journal 108869.journal 109483.journal 110097.journal 107028.journal 107642.journal 108256.journal 108870.journal 109484.journal 110098.journal 107029.journal 107643.journal 108257.journal 108871.journal 109485.journal 110099.journal 107030.journal 107644.journal 108258.journal 108872.journal 109486.journal 110100.journal 107031.期刊107645.journal 108259.journal 108873.journal 109487.journal 110101.journal 107032.journal 107646.journal 108260.journal 108874.journal 109488.journal 110102.journal 107033.journal 107647.journal 108261.journal 108875.journal 109489.journal 110103.journal 107034.journal 107648.journal 108262.journal 108876.journal 109490.journal 110104.journal 107035.journal 107649.journal 108263.journal 108877.journal 109491.journal 110105.journal

条目更多,我想这导致无法启动Nifi。

希望我在此找到解决方

解决方法

您是否在操作系统上遵循instructions to raise the open file limit? NiFi在读取/写入内部数据存储库时需要大量打开文件,因此,如果受到限制,通常会阻止操作成功。

从文档中

最大文件句柄

NiFi随时可能会具有 大量文件句柄打开。通过编辑增加限制 /etc/security/limits.conf添加类似内容

  • hard nofile 50000
  • soft nofile 50000

最大分叉进程

NiFi可以配置为生成大量线程。增加允许 数字,编辑/etc/security/limits.conf

  • hard nproc 10000
  • soft nproc 10000

您的发行版可能需要通过添加对/etc/security/limits.d/90-nproc.conf进行修改

  • soft nproc 10000

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。