如何解决如何在 spark-submit 期间从 S3 获取类型安全配置文件？
因此，我最初将 application.properties 文件保存在运行 spark-submit 的同一目录中。
我的命令是这样的：
spark-submit --class MyPackage.MyClass
--jars s3://dir1/dep1.jar,s3://dir1/dep2.jar
--files application.properties
--conf spark.driver.extrajavaoptions=-Dconfig.file=./application.properties
--conf spark.executor.extrajavaoptions=-Dconfig.file=./application.properties
s3://dir1/my_code.jar
arg1 arg2
这按预期工作。
现在我也想在 S3 中保留我的 application.properties 文件。我编辑了 --files 标志以包含我的配置文件的 S3 路径。但它仍在获取我之前使用的文件，而不是新的 S3 文件。这可能与我的 --conf 标志有关。
请让我知道我需要做什么才能完成这项工作。
目标：从 S3 中提取并使用配置文件 注意：我在 EMR 上执行此操作，因此连接到 S3 不是问题。无论如何，jar 只是从 S3 加载，所以连接到 S3 没有问题。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
