如何解决通过 mongo-connector 连接 Mongodb 和 elasticsearch 时丢失文档
我正在尝试通过 mongo-connector 3.1.1 将文档从 MongoDB 4.4.5 传输到 Elasticsearch7.12
我开始使用:
sudo mongo-connector -m 127.0.0.1:27017 -t 127.0.0.1:9200 -d elastic2_doc_manager -n Data.myData --continue-on-error --batch-size=1000 --only-dump --batch-size=1000 --no-dump --tz-aware
在日志的开头,可以看到MongoDB中的文档总数为454
当这个过程完成时我得到
在 Elasticsearch 索引中,我只能看到图片中显示的 268
知道这里可能有什么问题吗?
解决方法
此问题与在 Elastivsearch 上达到字段映射的最大数量有关 要解决此问题,请通过
增加对 Elasticsearch 索引的限制PUT my_data_index/_settings
{
"index.mapping.total_fields.limit": 20000
}
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。