spark的三种提交模式:
1- spark内核架构,standalone模式,基于spark自己的Mater-Worker集群;
2- 基于yarn的yarn-cluster模式;主要用于线上生产环境。
修改方式spark-submit脚本,--master参数设置为yarn-cluster;
缺点:spark-submit提交后,看不到log日志,只能到hdfs上拉取各个服务器上的日志文件。不方便调试。
优点: driver运行到nodeManager,没有网卡流量递增的问题。
3- 基于yarn的yarn-client模式;主要用于测试。
修改方式spark-submit脚本,--master参数设置为yarn-client;
缺点:driver运行在本地客户端,负责调度application,会与yarn集群产生大量的网络通信,从而导致流量激增。
优点:直接执行时,本地可以看到所有的log。方便测试调试。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。