如何解决WriteStream 无法在增量表中写入数据
Schema1= "customerId STRING,orderId STRING,products ARRAY<STRUCT<productId: STRING,quantity: STRING,soldPrice: STRING>>,salesRepId STRING,shippingAddress STRUCT<address: STRING,attention: String,city: STRING,state: STRING,zip: STRING>,submittedAt TIMESTAMP";
streamingDF = (spark.readStream.schema(Schema1)\
.option("maxFilesPerTrigger",1).json(stream_path))
在 streamingDF Streaming Dataset 中进行几次转换并尝试使用以下代码写入 Delta 表后
streamingDF.writeStream.outputMode("append")\
.option("checkpointLocation",orders_checkpoint_path)\
.partitionBy("submitted_yyyy_mm")\
.table("sachin")
但是这些记录没有插入到我们的增量表中，而且当我检查仪表板时，它显示 numInputRows 为 0
Screenshot of streaming while writestream being executed
为什么这些记录没有追加到增量表中？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
