Hive 3.x 导致外部表中压缩 (bz2) json 出错

如何解决Hive 3.x 导致外部表中压缩 (bz2) json 出错

我有一些必须加载到 Hive 外部表中的 JSON 数据（大约 60GB）。我将 Hive 3.x 与 Hadoop 3.x 一起使用。表的架构如下：

    CREATE TABLE people(a string,liid string,link string,n string,t string,e string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.JsonSerDe'
STORED AS TEXTFILE LOCATION '/data/db/';

我还为 serde 加载了 jar，如下所示： ADD JAR /usr/hive/lib/hive-hcatalog-core-3.1.2.jar;

如果我复制一个简单的文本 json（或加载），那么 DML 查询（选择等）工作正常。由于数据文件非常大，因此我对其进行了压缩（现在为 20GB）。我已将此压缩文件加载到 Hive 表（上面创建）中。

hive> select * from people;
OK
Failed with exception java.io.IOException:org.apache.hadoop.hive.serde2.SerDeException: java.io.IOException: Field name expected
Time taken: 0.096 seconds
hive> 

它对未压缩的数据工作正常。这有什么问题？

我尝试了一些解决方案，例如 this 但没有成功

解决方法

我自己找到了解决方案。实际问题是json中有两列是数组。它们应该映射到配置单元中的 ARRAY。我为模式采取的样本不包含这些数组。因此，通过将一列的字段类型更改为 yaxis: [ { plot: "Sales Value",title: "Sale Value",format: { prefix: "$" } } ] 解决了我的问题。