坚持开始关于 pyspark --master yarn

如何解决坚持开始关于 pyspark --master yarn

我在启动 SPARK ON YARN 时遇到问题。步骤如下：

1. 确保 Spark Standalone 没有运行：$./stop-all.sh

2. 确保在客户端节点的 ~/.bashrc 中设置了 HADOOP_CONF_DIR 环境变量。

   export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
   

3. 配置 yarn-site.xml 以支持运行 Spark 程序

   <configuration>
     <property>
       <name>yarn.nodemanager.vmem-check-enabled</name>
       <value>false</value>
     </property>
   </configuration>
   

4. 配置yarn-env.sh

   export JAVA_HOME=/home/spark/jdk1.8.0_251
   export PATH=$JAVA_HOME/bin:$PATH
   
   export HADOOP_HOME=/home/spark/hadoop-2.10.1
   export PATH=$HADOOP_HOME/bin:$PATH
   
   export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
   
   export ANACONDA_HOME=/home/spark/anaconda3
   export PATH=$ANACONDA_HOME/bin:$PATH
   

5. 将需要在YARN上使用的Spark相关程序放到HDFS上

   hadoop fs -mkdir /user/spark/spark-2.4.5-bin-hadoop2.7
   hadoop fs -put ~/spark-2.4.5-bin-hadoop2.7/jars spark-2.4.5-bin-hadoop2.7
   

6. 配置 spark-defaults.conf 并指定需要在 YARN 上使用的 Spark 相关程序

   spark.yarn.jars hdfs://devenv/user/${USER}/spark-2.4.5/jars/*
   

7. 启动 YARN 并检查网络控制台

   ./start-yarn.sh
   

   我可以在 http://username:8088

   上看到 yarn webui

8. 测试并运行一些 Spark 程序

   pyspark --master yarn
   

但是当我尝试在纱线上启动火花时 它陷入了这样一个奇怪的情况：

这是我在用户 .bashrc 中的设置：