微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何加快从 Talend 写入 Impala 的速度

如何解决如何加快从 Talend 写入 Impala 的速度

我正在使用 Talend Open Studio for Big Data (7.3.1),我将各种来源的文件写入 Cloudera Impala (Cloudera QuickStart 5.13) 但这需要太多时间并且仅写入约 3300 行/秒(需要看看图片)。

csv to impala

oracle xe to impala

impala output settings

有没有办法将写入提高到 ~10000-100000 行/秒甚至更大?
我是否对负载使用了错误方法
还是我需要更好地配置 Impala/Talend?
欢迎任何建议!

更新
我安装 JDBC Impala 驱动程序:

enter image description here

但是 OutputFile 看起来没有为 Impala 配置:

enter image description here

错误
组件 tDBOutput_1 (db_2_impala) 中的异常 org.talend.components.api.exception.ComponentException: UNEXPECTED_EXCEPTION:{message=[Cloudera]ImpalaJDBCDriver ERROR 处理查询/语句。错误代码:0,sql 状态:TStatus(statusCode:ERROR_STATUS,sqlState:HY000,errorMessage:AnalysisException: Impala 不支持修改非 Kudu 表:algebra_db.source_data_textfile_2 ),查询: DELETE FROM algebra_db.source_data_textfile_2.} at org.talend.components.jdbc.CommonUtils.newComponentException(CommonUtils.java:583)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。