文章目录
什么是flink
运行架构
- 计算架构：JobManager和TaskManger
- JobManager主要负责调度task，协调checkpoint已经错误恢复等
- TaskManger具体任务执行
计算框架
- Flink SQL，原型是阿里2019开源 Blink代码。
- Flink SQL定义sql语句，代码加载实现数据结构化和处理功能。
- Table API：
- 有source和sink概念，source是输入源，sink为输出源，代码有相关sql方法，无需定义sql语句。
- DataStream和DataSetAPI，纯代码实现计算，一个负责实时，一个服务批处理。
运行模式
- 资料
- 三种模式
- 模式一：Local（本地）模式
- 本地主机计算
- 模式二：Standalone（独立）模式
- 无hadoop集群，flink自身集群运行。
- on yarn模式
- Yarn-session 模式
- 预先在yarn上面划分一部分资源给flink集群用，flink提交的所有任务，共用这些资源
- Single job 模式
- 每次提交任务，都会创建一个新的flink集群
- Yarn-session 模式
- 模式一：Local（本地）模式
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
