https://flink.apache.org/downloads.html
左侧 Downloads Binaries,1.14.2,.tgz包,300M+大小
yarn模式需要hadoop支持,在Additional Components下面下载
解压 tar -zxvf flink-1.14.2-bin-scala_2.12.tgz
最主要的三个目录:
bin :shell脚本文件
start-cluster.sh stop-cluster.sh jobmanager.sh taskmanager.sh
特别的:flink文件(没有.sh)
flink-conf.yaml
jobmanager.rpc.address: localhost 配置jobmanager
jobmanager.rpc.port: 6123
......
rest.port: 8081
rest.address: localhost
masters:配置jobmanager
slaves:配置taskmanager,每行一个
lib:可用的库包,比如hadoop包
Standalone 模式
执行 ./start-cluster.sh 默认会启动一个standalonesession daemon和一个taskexecutor daemon
执行 jps 查看可以看到一个TaskManagerRunner和一个StandalonesessionClusterEntrypoint
访问 localhost:8081,可以看到web页面
并行度优先级:代码中setParallelism(n)>提交job时候的设置的parallelism>flink-conf.yaml中parallelism.default设置的值
注意slot和task任务数的配置,可能存在任务提交失败的情况(slot资源不够)
命令行方式:
./flink run -c <mainClass> -p 3 <jarPath> --host localhost --port 7777
./flink cancel <jobId>
./flink list -a
Flink on Yarn 模式2种
Flink需要hadoop支持
Sesson Cluster
Per Job Cluster
Kubernetes部署(待整理)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。