问题
为防止因为虚拟机内存过少,进程被杀死,需要关闭yarn的内存检测
yarn-site.xml
<!--是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true --> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <!--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true --> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>
配置日志服务和连接yarn
spark-env.sh
--指向yarn的配置文件所在目录 HADOOP_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop --日志服务配置 export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/spark-job-log"
spark-default.conf
spark.eventLog.enabled true spark.eventLog.dir hdfs://hadoop102:9000/spark-job-log
hdfs://hadoop102:9000/spark-job-log 目录必须提前存在, 名字随意
yarn历史服务器界面无法直接跳转到spark的历史服务界面
spark-default.conf
spark.yarn.historyServer.address=hadoop102:18080 spark.history.ui.port=18080
spark确实Lzo等jar包报错
spark-default.conf
spark.jars=/opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。