微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

04-Flink 部署

https://flink.apache.org/downloads.html

左侧 Downloads   Binaries,1.14.2,.tgz包,300M+大小

yarn模式需要hadoop支持,在Additional Components下面下载

解压 tar -zxvf flink-1.14.2-bin-scala_2.12.tgz

最主要的三个目录:

bin :shell脚本文件

     start-cluster.sh  stop-cluster.sh   jobmanager.sh   taskmanager.sh 

     特别的:flink文件(没有.sh)

conf:yml配置文件

   flink-conf.yaml

       jobmanager.rpc.address: localhost    配置jobmanager

       jobmanager.rpc.port: 6123

       ......

       rest.port: 8081

       rest.address: localhost

   masters:配置jobmanager

   slaves:配置taskmanager,每行一个

lib:可用的库包,比如hadoop包

Standalone 模式

执行 ./start-cluster.sh 认会启动一个standalonesession daemon和一个taskexecutor daemon

执行 jps 查看可以看到一个TaskManagerRunner和一个StandalonesessionClusterEntrypoint

访问 localhost:8081,可以看到web页面

并行度优先级:代码中setParallelism(n)>提交job时候的设置的parallelism>flink-conf.yaml中parallelism.default设置的值

注意slot和task任务数的配置,可能存在任务提交失败的情况(slot资源不够)

命令行方式:   

./flink run -c   <mainClass> -p 3  <jarPath> --host localhost --port 7777

./flink cancel <jobId>

./flink list -a

Flink on Yarn 模式2种

Flink需要hadoop支持

Sesson Cluster

Per Job Cluster

Kubernetes部署(待整理)

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐