使用 https://github.com/bitnami/bitnami-docker-spark
$ git clone https://github.com/bitnami/bitnami-docker-spark
$ cd bitnami-docker-spark
$ docker-compose up --scale spark-worker=3 # 3个woker
但是我在挂载好python代码路径然后执行的时候，出现了错误
ModuleNotFoundError: No module named 'py4j'
经查阅，需要设置PYTHONPATH环境变量的值, 在 docker-compose.yml 的 environment 下设置
- PYTHONPATH=/opt/bitnami/spark/python:/opt/bitnami/spark/python/lib/py4j-0.10.9.3-src.zip
即可
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
