flink运行框架、计算框架、运行模式讲解

文章目录

• • • 什么是flink
    • 运行架构
    • 计算框架
    • 运行模式

什么是flink

• 一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。
• 下载地址
  • 历史下载地址和最新下载地址
  • 国内地址

运行架构

• 计算架构：JobManager和Taskmanger
  • JobManager主要负责调度task，协调checkpoint已经错误恢复等
  • Taskmanger具体任务执行

计算框架

• Flink sql，原型是阿里2019开源 Blink代码。
  • Flink sql定义sql语句，代码加载实现数据结构化和处理功能。
• Table API：
  • 有source和sink概念，source是输入源，sink为输出源，代码有相关sql方法，无需定义sql语句。
• DataStream和DataSetAPI，纯代码实现计算，一个负责实时，一个服务批处理。

运行模式

• 资料
• 三种模式
  • 模式一：Local（本地）模式
    • 本地主机计算
  • 模式二：Standalone（独立）模式
    • 无hadoop集群，flink自身集群运行。
  • on yarn模式
    • Yarn-session 模式
      • 预先在yarn上面划分一部分资源给flink集群用，flink提交的所有任务，共用这些资源
    • Single job 模式
      • 每次提交任务，都会创建一个新的flink集群