canal简介
canal,有水渠管道的意思,主要用于基于MysqL数据库的增量日志信息解析,提供增量数据订阅和消费。
例如在bilibili的网站中,用户在视频下的评论,也需要在up主的创作中心显示,此时就需要用到canal通过对数据库日志的解析来实时获取更新。canal对数据库进行解析后交由kafka,hbase,RocketMQ等进行消费
工作原理
canal的工作原理依赖于数据库的主从复制原理
MysqL主从复制原理
- MysqL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events,可以通过 show binlog events 进行查看)
- MysqL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
- MysqL slave 重放 relay log 中事件,将数据变更反映它自己的数据
canal工作原理
- canal 模拟 MysqL slave 的交互协议,伪装自己为 MysqL slave ,向 MysqL master 发送dump 协议
- MysqL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal )
- canal 解析 binary log 对象(原始为 byte 流)
原文地址:https://cloud.tencent.com/developer/article/2028486
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。