如何解决在Cloud Data Fusion管道中使用大查询时出错
我在Cloud Data Fusion中有一个管道,当在预览模式下运行时,它会产生正确的输出,但是在一致部署时,会在日志中产生相同的错误消息。
管道从几个不同的Cloud Storage位置中获取一些文件,进行一些解析和处理,然后将它们结合在一起。加入之后,应该将输出记录发送到Google Big Query中的表中。
我已经尽我所能使运行正常运行,但无济于事,包括:不同的模式,尝试将结果插入到现有表中(我尝试了空表和带有记录的表,当然匹配模式),然后尝试将结果插入到当时不存在且必须创建的表中。
错误始终如下:
java.lang.ClassCastException:org.apache.avro.mapred.AvroKey无法转换为org.apache.avro.mapred.AvroKey 在io.cdap.plugin.gcp.bigquery.sink.AvroRecordWriter.write(AvroRecordWriter.java:37)〜[1604245650349-0 /:na]
此错误与架构有关吗?与权限有关吗?这些教程不提供帮助。
有人可以向我解释此错误可能是什么以及如何解决该错误。将结果发送到Big Query将使我的工作变得更加轻松,而不是将它们手动写入“ part-00000”文件中的位置。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。