如何解决clickhouse - Clickhouse 导入的数据被系统强行杀死
当我将一个 120g 的文本文件导入 Clickhouse
时,其中有 4 亿条数据。导入一亿多数据,我要被打死了。
导入语句如下:
clickhouse-client --user default --password xxxxx --port 9000 -hbd4 --database="dbs" --input_format_allow_errors_ratio=0.1 --query="insert into ... FORMAT CSV" < /1.csv
报错如下:
2021.04.29 10:20:23.135790 [ 19694 ] {} <Fatal> Application: Child process was terminated by signal 9 (KILL). If it is not done by 'forcestop' command or manually,the possible cause is OOM Killer (see 'dmesg' and look at the '/var/log/kern.log' for the details).
解决方法
看看系统日志 - 他们应该有一些线索:
-
按照错误消息中的建议 - 运行 dmesg 并查看是否提到了 OOM Killer [在内存不足事件上触发的内核自我保护机制]。如果是这种情况 - 您的内存不足,或者您授予 clickhouse 太多内存。
-
看看 clickhouse 自己的日志说明了什么。日志文件的路径在 clickhouse-server/config.xml 中定义,在 yandex/logger/log 下 - 它可能是 /var/log/clickhouse-server/clickhouse-server.log + /var/log/clickhouse-server/clickhouse -server.err.log
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。