如何解决如何访问databricks initscript中的秘密
我尝试访问 databricks 集群的高级选项卡中的秘密 {{secrets/secrectScope/Key}}
,并且工作正常。但是当我尝试在 databricks init 脚本中使用它时,它不起作用。
这样做的步骤是什么?
解决方法
以下是访问 databricks initscript 中的机密的步骤:
- 转到集群
- 点击集群信息旁边的编辑。
- 在“配置集群”页面上,点击高级选项。
- 在 Spark 选项卡上,输入以下 Spark 配置:
示例 ini 代码:
fs.azure.account.auth.type.chepragen2.dfs.core.windows.net OAuth
fs.azure.account.oauth.provider.type.chepragen2.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
fs.azure.account.oauth2.client.id.chepragen2.dfs.core.windows.net {<!-- -->{secrets/KeyVaultName/ClientID}}
fs.azure.account.oauth2.client.secret.chepragen2.dfs.core.windows.net {<!-- -->{secrets/KeyVaultName/ClientSecret}}
fs.azure.account.oauth2.client.endpoint.chepragen2.dfs.core.windows.net https://login.microsoftonline.com/<Directory_ID>/oauth2/token
有关详细信息,请参阅 Azure Databricks - configure the cluster to read secrets from the secret scope。
,关于秘密引用(所谓的“secret paths”)的语法,另一个答案是正确的,但它不适用于 init 脚本,尽管它适用于 Spark 代码本身。
要将秘密传递给 init 脚本,您需要将秘密路径放入 Spark 配置选项卡的 "Environment Variables" sections 中,如下所示:
然后you can use the variable by name inside the init script:
if [ -n "$SECRET_VAR" ]; then
do_something_with_it
fi
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。