如何解决如何检查元组是否包含 Apache Pig 中的元素?
movie_id,title,genres
95004,Superman/Doomsday (2007),Action|Animation
136297,Mortal Kombat: The journey Begins (1995),Action
193565,Gintama: The Movie (2010),Action|Animation|Comedy|Sci-Fi
193573,love Live! The School Idol Movie (2015),Animation
我是这样加载的:
movies = LOAD 'movies.csv' USING PigStorage(',') AS (moviesId:int,title:chararray,genres: chararray);
movies = FOREACH movies GENERATE movieId,STRSPLIT(genres,'\\|') as genres;
describe a; //a: {movieId: int,title: chararray,genres: ()}
dump a
结果示例:
...
(193581,Black Butler: Book of the Atlantic (2017),(Action,Animation,Comedy,Fantasy))
(193583,No Game No Life: Zero (2017),(Animation,Fantasy))
...
现在,如果我没理解错的话,字段流派是元组类型。问题是我如何进行查询,例如:“获取所有动作片?”。我不知道如何检查元组类型中是否存在特定元素。
我知道如何使用 Python UDF 函数执行此操作,但我想知道是否可以不使用它。也许我应该以不同的方式加载文件。
感谢您的帮助。
解决方法
如果您愿意将流派放入袋中而不是元组中(我认为这会更合适,因为流派的数量因唱片而异)。然后可以使用嵌套的 FOREACH
解决这个问题,方法是过滤特定类型的包,然后测试包是否为空。
movies = LOAD 'movies.csv' USING PigStorage(',') AS (moviesId:int,title:chararray,genres: chararray);
moviesSplit = FOREACH movies GENERATE movieId,title,TOKENIZE(genres,'|') as genres;
actionTest = FOREACH moviesSplit {
action = FILTER genres by $0 == 'Action';
GENERATE *,action;
actionMovies = FILTER actionTest BY NOT IsEmpty(action);
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。