微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

clickhouse - Clickhouse 导入的数据被系统强行杀死

如何解决clickhouse - Clickhouse 导入的数据被系统强行杀死

当我将一个 120g 的文本文件导入 Clickhouse 时,其中有 4 亿条数据。导入一亿多数据,我要被打死了。

导入语句如下: clickhouse-client --user default --password xxxxx --port 9000 -hbd4 --database="dbs" --input_format_allow_errors_ratio=0.1 --query="insert into ... FORMAT CSV" < /1.csv

报错如下: 2021.04.29 10:20:23.135790 [ 19694 ] {} <Fatal> Application: Child process was terminated by signal 9 (KILL). If it is not done by 'forcestop' command or manually,the possible cause is OOM Killer (see 'dmesg' and look at the '/var/log/kern.log' for the details).

是不是导入的文件太大,内存爆了?我应该再次细分文件吗?

解决方法

看看系统日志 - 他们应该有一些线索:

  1. 按照错误消息中的建议 - 运行 dmesg 并查看是否提到了 OOM Killer [在内存不足事件上触发的内核自我保护机制]。如果是这种情况 - 您的内存不足,或者您授予 clickhouse 太多内存。

  2. 看看 clickhouse 自己的日志说明了什么。日志文件的路径在 clickhouse-server/config.xml 中定义,在 yandex/logger/log 下 - 它可能是 /var/log/clickhouse-server/clickhouse-server.log + /var/log/clickhouse-server/clickhouse -server.err.log

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。