简述
实时数据处理领域中,使用 Flink 方式,除了从日志服务订阅埋点数据外,总离不开从关系型数据库订阅并处理相关业务数据,这时就需要监测并捕获数据库增量数据,将变更按发生的顺序写入到消息中间件以供计算(或消费)。 本文主要介绍如何通过 CloudCanal 快速构建一条高效稳定运行的 MysqL -> Kafka -> Flink 数据同步链路。
技术点
兼容多种常见消息结构
CloudCanal 目前支持 Debezium Envelope (新增)、Canal、Aliyun DTS Avro 等多种流行消息结构,对数据下游消费比较友好。 本次对 Debezium Envelope 消息格式的支持,我们采用了一种轻量的方式做到完全兼容,充分利用 CloudCanal 增量组件,扩展数据序列化器 (EnvelopDeserialize),得到 Envelop 消息并发送到 Kafka 中。 其中 Envelop 的消息结构分为 Payload 和 Schema 两部分
{
"payload":{
"after":{
"column_1":"3",
...
},
"before":null,
"op":"c",
"source":{
"db":"kafka_test",
"table":"new_table"
"pos":110341861,
"ts_ms":1659614884026,
...
},
"ts_ms":1659614884026
},
"schema":{
"fields":[
{
"field":"after",
"fields":[
{
"field":"column_1",
"isPK":true,
"jdbType":4,
"type":"int(11)"
},
...
],
"type":"struct"
},
...
],
"type":"struct"
}
}
高度可视化的CDC
CDC 工具如 FlinkCDC、Maxwell、Debezium ... 各有特色,CloudCanal 相对这些产品,最大的特点是高度可视化,自动化,下表针对目标端为Kafka 的 CDC 简要做了一些对比。
CloudCanal | FlinkCDC | Maxwell | |
---|---|---|---|
产品化 | 完备 | 基础 | 无 |
同步对象配置 | 可视化 | 代码 | 配置文件 |
封装格式 | 多种常用格式 | 自定义 | JSON |
高可用 | 有 | 有 | 无 |
数据初始化(snapshot) | 实例级 | 实例级 | 单表 |
源端支持 | ORACLE,MysqL,sqlServer,MongoDB,Postgresql... | ORACLE,MysqL,sqlServer,MongoDB,Postgresql... | MysqL |
CloudCanal 在平衡性能的基础上,提供多种关系型数据源的同步,以及反向同步;提供便捷的可视化操作、轻巧的数据源添加、轻便的参数配置; 提供多种常见的消息格式,仅仅通过鼠标点击,就可以使用其他 CDC 的消息格式的传输,让数据处理变的异常的快捷、方便。 其中经过我们在相同环境的测试下, CloudCanal 在高写入的 MysqL 场景中,处理数据的效率表现的很出色,后续我们会继续对 CloudCanal 进行优化,提升整体的性能。 综上,相比与类似的 CDC 产品来说,CloudCanal 简单轻巧并集成一体化的操作占据了很大的优势。
无缝对接 Flink 流式计算
Flink 流式计算中不仅要订阅日志服务器的日志埋点信息,同样需要业务数据库中的信息,通过 CDC 工具订阅数据,能减少查询对业务数据库产生的压力还能以流的形式传输,方便与日志服务器中的数据进行关联处理。 实际开发中,可以将业务数据库中的信息提取过滤之后动态的放入 Hbase 中作为维度数据,方便相关联的宽表进行关联查询; 也可以对数据进行开窗、分组、聚合,同样也可以下沉到其他的 Kafka 消费者组中,实现数据的分层。
操作示例
前置条件
- 本例使用 Envelop 消息格式,关系型数据库 MysqL 为示例,展示 MysqL 对接 Flink 的 Demo
- 登陆 CloudCanal SaaS版,使用参见快速上手文档
- 准备好 1 个 MysqL 实例,1 个 Kafka 实例(本例使用自己搭建的 MysqL 5.6,阿里云 Kafka 2.2)
- 准备好 Flink 消费端程序,配置好相关信息:flink-demo 下载
- 登录 CloudCanal 平台,添加 Kafka,MysqL
任务创建
- 首先配置 FlinkDemo **程序的 **阿里云 Kafka 相关信息
- 选择 数据同步,不勾选 全量数据初始化,其他选项默认
- 选择需要迁移同步的表 table1 *和对应的 Kafka 主题 *topic_1
持续点击下一步,并创建出数据同步任务。
Flink 消费数据
- 向 MysqL **生成数据,MysqL -> **Kafka(topic_1) -> Flink
- FlinkDemo 接收到 Kafka(topic_1) 数据,下沉到 topic_2 主题,打印并输出;这里 Flink 程序可以做更多的流式计算的操作,FlinkDemo 只是演示了最基本的数据传输案例。
常见问题
还支持哪些源端数据源呢?
目前开放 MysqL、Oracle,sqlServer,Postgres,MongoDB 到 Kafka,如果各位有需求,可以在社区反馈给我们。
支持 DDL 消息同步吗?
目前 关系型数据到 kafka 是支持 DDL 消息的同步的,可以将 关系型数据库 DDL 的变化同步到 Kafka 当中。
总结
本文简单介绍了如何使用 CloudCanal 进行 MysqL -> Kafka -> Flink 数据迁移同步。各位读者朋友,如果你觉得还不错,请点赞、评论加转发吧。
原文地址:https://www.jb51.cc/wenti/3282978.html
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。