如何解决如何在由 slurm 管理的自动缩放集群上设置 Rstudio、sparklyR？
我有一个由 slurm 管理的 aws HPC 自动缩放集群，我可以使用 sbatch 提交作业，但是我想在这个集群上使用 spraklyr，以便 slurm 根据 R 脚本中 sparklyr 代码的工作负载增加集群大小.这可能吗？
解决方法
嗨，阿米尔，你在这里使用 slurm 有什么原因吗？ Sparklyr 与 Apache Spark 有更好的集成，建议在 Spark 集群上运行它。您可以按照此博客了解使用 Amazon EMR 进行设置的步骤，Amazon EMR 是一种在 AWS 上运行 Spark 集群的服务 - https://aws.amazon.com/blogs/big-data/running-sparklyr-rstudios-r-interface-to-spark-on-amazon-emr/
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
