微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Azure事件中心-Scala笔记本中的JSON数据处理-数据块

如何解决Azure事件中心-Scala笔记本中的JSON数据处理-数据块

{
    "header": {
        "p1": "abcd","p2": 5170,},"data": [{
            "name": "propoertyName","value": 10,}]
}

下面是我写的scala代码-

val incomingStream  = spark.readStream
  .format("eventhubs")
  .options(eventHubsConf.toMap)
  .load()

val messages =incomingStream.withColumn("Body",$"body".cast(StringType)).select("Body")

val query2  = messages.writeStream
  .format("delta")
  .outputMode("append")
  .option("checkpointLocation","_")
  .start("/delta/data/")

 query2.awaitTermination()

使用此代码,字符串将保存在三角洲湖中。

当我使用sql语法查询它时-使用-我可以看到字符串。因此,以下查询效果很好。 SELECT star FROM delta./delta/data/

但是我也想基于内部参数进行查询-这不起作用。我如何将JSON存储到三角洲湖,因为它是对如下所示的参数进行查询。所以我想编写以下查询,这给了我错误

SELECT Body.header.P1 FROM delta./delta/data/

在文档或Twitter流的一些示例中,只有字符串示例。我没有找到json示例和相关的操作。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。