如何解决如何获得更好的性能将 ElasticSearch 数据加载到 Hive?
我们使用 ElasticSearch StorageHandler 创建了 Hive 外部表,如下所示:
CREATE EXTERNAL TABLE DEFAULT.ES_TEST (
REG_DATE STRING,STR1 STRING,STR2 STRING,STR3 STRING,STR4 STRING,STR5 STRING
)
ROW FORMAT SERDE 'org.elasticsearch.hadoop.hive.EsSerDe'
STORED BY 'org.elasticsearch.hadoop.hive.EsstorageHandler'
TBLPROPERTIES (
'es.resource' = 'log-22-20210120','es.nodes' = '1.2.3.4','es.port' = '9201','es.mapping.date.rich' = 'false'
);
然后我们尝试将 ES 数据加载到 Hive 托管表中,如下所示:
insert overwrite table elastic.es_log_tab partition(part_log_date)
select *,current_timestamp(),from_unixtime(unix_timestamp(reg_date),'yyyyMMdd')
from DEFAULT.ES_TEST;
当给定日期的 ES 数据卷到大约 65GB 时,大约需要 10 小时或每分钟 110 万行(总共 6.7 亿行)。
为了在这种情况下获得更好的加载性能,是否有进一步的建议或检查点?如何增加映射器的数量?目前,它正在运行 16 个映射器。希望通过更多的映射器更快地获得它?
请与我分享您的想法和以前的经验。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。