如何解决如何使用已安装的软件包运行 PySpark？
通常，当我使用 pyspark 运行 graphframes 时，我必须使用以下命令：
pyspark --packages graphframes:graphframes:0.8.1-spark3.0-s_2.12
在第一次运行时，这将安装包 graphframes，但不会在下一次安装。在 .bashrc 文件中，我已经添加了：
export SPARK_OPTS="--packages graphframes:graphframes:0.8.1-spark3.0-s_2.12"
但如果我不添加选项 --packages，我将无法导入包。
如何使用这个简单的命令将 pyspark 与 graphframes 一起运行？
pyspark
解决方法
您可以制作一个像 myspark.sh 这样触发 pyspark --packages graphframes:graphframes:0.8.1-spark3.0-s_2.12 的包装脚本，这将是最简单的解决方案。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
