sql – 如何从Hive组按操作符获取数组/包的元素？

我想通过给定的字段进行分组,并获得具有分组字段的输出.下面是我要实现的一个例子：

想象一下一个名为“sample_table”的表,其中包含两列如下：

F1  F2
001 111
001 222
001 123
002 222
002 333
003 555

我想写Hive Query将给出以下输出：

001 [111,222,123]
002 [222,333]
003 [555]

在猪中,这样可以很容易地实现：

grouped_relation = GROUP sample_table BY F1;

有人可以建议,如果在Hive中有一个简单的方法呢？我可以想到的是写一个用户定义函数(UDF),但这可能是一个非常耗时的选项.

解决方法

内置的集合函数collect_set( doumented here)可以让你几乎成为你想要的东西.它实际上可以用于您的示例输入：

SELECT F1,collect_set(F2)
FROM sample_table
GROUP BY F1

不幸的是,它也删除了重复的元素,我想象这不是你想要的行为.我发现collect_set存在很奇怪,但没有版本保持重复. Someone else apparently thought the same thing.它看起来像顶部和第二个答案将给你你需要的UDAF.