【目的】
Windows 10 裸机搭建 Spark 环境，使能运行 PySpark Shell。
【原料】
Windows 10 x64
jdk-8u162-windows-x64.exe
python-3.6.7-amd64.exe
spark-2.3.2-bin-hadoop2.7.tgz
【安装 JDK】
双击 jdk-8u162-windows-x64.exe 安装，后续基本上就是一路“next”。
配置环境变量
# 可通过 echo %JAVA_HOME% 检验 JAVA_HOME: C:\Program Files\Java\jdk1.8.0_162 # 可通过 echo %CLASS_PATH% 检验 CLASS_PATH: C:\Program Files\Java\jdk1.8.0_162\lib # 可通过 echo %PATH% 检验 Path: C:\Program Files\Java\jdk1.8.0_162\bin
【安装 python3】
双击 python-3.6.7-amd64.exe 安装
为了便于代码补全，建议安装以下两个第三方包
# 安装ipython pip3 install ipython -i https://pypi.doubanio.com/simple/ # 安装pyreadline pip3 install pyreadline -i https://pypi.doubanio.com/simple/
【安装 Spark】
到 http://spark.apache.org/downloads.html 下载 spark-2.3.2-bin-hadoop2.7.tgz 并解压，walker 解压到了 D:\spark 目录。
到这里，pyspark 已经可以运行了，但会提示找不到 winutils.exe。
*** walker ***
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
