如何解决Databricks Magic Sql - 导出数据
是否可以在 Databricks 中导出“魔术 sql”命令单元的输出?
我喜欢这样一个事实,即不必对 sql 命令进行转义,并且可以轻松地对其进行格式化。但是,我似乎无法在其他单元格中使用输出。我想要做的是将数据导出到 CSV 文件,但可能在我写出来之前完成对数据框的一些最终操作。
sql = "select * from calendar"
df = sqlContext.sql(sql)
display(df.limit(10))
vs(DBricks 格式化如下代码)
%sql
select
*
from
calendar
但是想象一下,一旦你引入了转义字符串、嵌套连接等。想知道是否有更好的方法来处理数据块中的 sql。
解决方法
最简单的解决方案是我没有想到的最明显的解决方案:创建视图!
%sql
CREATE OR REPLACE TEMPORARY VIEW vwCalendar as
/*
Comments to make your future self happy!
*/
select
c.line1,-- more comments
c.line2,-- more comments
c.zipcode
from
calendar
where
c.status <> 'just an example\'s' -- <<imagine escaping this
现在您可以像任何其他表一样在后续 SQL 单元格中使用视图 vwCalendar。
如果你想在 python 单元中使用它:
df = spark.table("vwCalendar")
display(df.limit(3))
https://docs.databricks.com/spark/latest/spark-sql/udf-python.html#user-defined-functions---python
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。