接上一篇，实现flink对elasicsearch的source/table
flink elasticsearch sink 的 table写，默认会写些'冗余'列进es
es table写，官方支持自定义主键列，和主键列的连接方式(-)
以这几个列连接，计算id ,做为es的_id 写入es
同时也像logstash/nifi 那样支持动态index,配置索引列，写入对的应索引
写入没有问题
问题是这些参于计算的列，也都会一并写入_source,虽然可以通过配置es的mapping，减少这些列的开销，但毕竟看着碍事
有没有办法不写入这些列？
官方没有，就自已想办法定制
结全flink的应用经验，并结合上篇es source的适配经验，很简单就实现了
1 官方的sink table是dynamic table 生成的是rowdata
2 sink 结合scheme 实现对rowdata的解析，转为json字符串，bulk写入es
问题就出现在这一步，scheme有列信息 rowdata 有列数据
把要转为字符串的rowdata及scheme 都去掉相应的列，问题就应该解决了
遍历旧scheme，过滤掉ignore-fields 列，生成新的scheme，以scheme做序列化
报错
因为rowdata和scheme不匹配，rowdata内的列也需要去掉
rowdata不支持k/v访问，但字段顺序和scheme一致，通过scheme算出ignore-fields在rowdata内的index
过滤掉rowdata的相关列，重新生成rowdata即可
如些问题解决，测试通过，写入es不再会有'冗余'字段
scheme的加载是一次性的，没有影响
但对每一行数据rowdata，都要过滤字段，生成新的rowdata，开销相对较大，有一定影响
最完美的办法是在序列化的时候，也就是flink的原码基础上做，序列化时对rowdata不必要的字段做过滤
而不是构造一个过滤字段后的rowdata,由flink序列化
实现一个同名类，扔到flink/lib下，和官方类，先后顺序不清楚
必要时自已改动序列化部分，编译flink,部署
https://github.com/cclient/flink-connector-elasticsearch-sink
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
