如何解决ADLS - 从 SQL 模式的 Databricks 访问 ADLS
在 Databricks 中,我们可以在 Python 模式下基于以下身份验证代码访问 ADLS 文件。但是当我尝试对 sql 模式进行身份验证时出现以下错误。请帮助我们获取有关如何在 sql 中声明身份验证的信息。
蟒蛇:
spark.conf.set("fs.azure.account.key.<your-storage-account-name>.dfs.core.windows.net","<access-key>")
df = spark.read.csv("abfss://<your-file-system-name>@<your-storage-account-name>.dfs.core.windows.net/<your-directory-name>/<your-file-name>")
sql: 参考:
解决方法
您使用的语法不正确。变量应该用 SET
keyword 设置,例如:
mean = df.loc[df['B'].eq(1),'A'].mean()
print (mean)
54.0
mask = df['A'].lt(mean) & df['B'].eq(-1)
df.loc[mask,'A'] = mean
print (df)
A B
0 54 -1
1 20 1
2 54 -1
3 40 1
4 50 1
5 60 1
6 70 -1
7 80 -1
8 90 -1
9 100 1
之后你就可以运行你的查询了。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。