微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

hadoop jar 指定配置位置

如何解决hadoop jar 指定配置位置

我想运行一个运行 Scala jar 的 hadoop 作业,该 jar 碰巧有多个类型安全的配置文件

我的目录如下所示:

myApplicationFolder
./application.jar
./application.conf
./connection.conf
./someotherconf.conf

当我运行 jar 时

hadoop jar application.jar class.runner

在 myApplicationFolder 中,一切正常:application.conf 和 connection.conf 中的内容可以被我的应用程序获取

val appConfig = ConfigFactory.load()
val connectionConfig = ConfigFactory.load("connection")

但是,如果我想在其他目录中运行 jar,我如何将位置指向 application.conf 和 connection.conf?

我尝试使用

export HADOOP_OPTS='-Dconfig.file=application.conf -Dconfig.file=connection.conf'

但这基本上忽略了application.conf并使用了connection.conf,并且程序在application.conf中找不到必要的信息。

另外,假设我可以将 application.conf 构建到 jar 中,我如何告诉应用程序查找 connection.conf?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。