如何解决在 aws 胶中执行 spark sql 返回查询中的列名而不是值
在 aws 胶中运行 spark sql 返回查询中的列名
data:
product,price,quantityinKG
mango,100,1
apple,200,3
peach,2
mango,2
我的测试查询
eg : select product,sum(price)
from myDataSource
group by product
查询的输出应该是
product,sum(price)
mango,300
但输出是:
product,"sum(price)"
mango,
sum(price) 列中没有任何内容,只有产品 nane ,请您帮我解决这种胶水行为
解决方法
首先,使用您的数据框创建或替换本地临时视图,然后使用 sql 查询
data.createOrReplaceTempView('data_table')
spark.sql("select product,sum(price) as sum_price from data_table group by product").show()
如果您使用的是胶水动态数据帧,那么在创建临时视图之前,请先使用 toDF() 函数将其转换为火花数据帧。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。