如何解决插入 Hudi 表时由于 SdkInterruptedException 导致的消费记录错误
我有一个通过迁移创建的 Hudi 表，因此它有数十亿行。迁移时没有问题，但是一旦我开始流式传输以开始将新数据写入此表，就会出现以下错误：
ERROR - error producing records (org.apache.hudi.common.util.queue.BoundedInMemoryExecutor.lambda$null$0(BoundedInMemoryExecutor.java:94)):94
org.apache.parquet.io.ParquetDecodingException: Can not read value at 1 in block 0 in file s3://lake/tables/hudi/usage_fact_cpaas_by_month/organization_id=AAABBBCCC/year=2020/month=12/5235f14e-85b4-488e-99f4-9eb416532795-1_3-134-785_20201216202753.parquet
...
[2020-12-29 16:45:18,284] ERROR - error reading records from queue (org.apache.hudi.common.util.queue.BoundedInMemoryQueue.readNextRecord(BoundedInMemoryQueue.java:201)):201
java.lang.InterruptedException
我对另一个迁移的表做了同样的事情，没有问题。两个表的唯一区别是分区。
在 AWS 上执行并使用 Hudi 0.5.3。
你们有遇到过这个问题吗？不确定这是 Hudi 问题还是 AWS 问题。
解决方法
我查看了 executor 日志，发现存在架构错误。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
