如何解决如何加快从 Talend 写入 Impala 的速度
我正在使用 Talend Open Studio for Big Data (7.3.1),我将各种来源的文件写入 Cloudera Impala (Cloudera QuickStart 5.13) 但这需要太多时间并且仅写入约 3300 行/秒(需要看看图片)。
有没有办法将写入提高到 ~10000-100000 行/秒甚至更大?
我是否对负载使用了错误的方法?
还是我需要更好地配置 Impala/Talend?
欢迎任何建议!
但是 OutputFile 看起来没有为 Impala 配置:
错误:
组件 tDBOutput_1 (db_2_impala) 中的异常
org.talend.components.api.exception.ComponentException: UNEXPECTED_EXCEPTION:{message=[Cloudera]ImpalaJDBCDriver ERROR 处理查询/语句。错误代码:0,sql 状态:TStatus(statusCode:ERROR_STATUS,sqlState:HY000,errorMessage:AnalysisException: Impala 不支持修改非 Kudu 表:algebra_db.source_data_textfile_2
),查询: DELETE FROM algebra_db
.source_data_textfile_2
.} at org.talend.components.jdbc.CommonUtils.newComponentException(CommonUtils.java:583)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。