如何解决使用Pig合并两个文件
我有两个文件要合并在一起。这两个文件的格式如下: 第一个文件(f.txt)
Siler 1001
Gold 8009
第二个文件(s.txt)
Apple 100
Banana 200
我希望最终的合并文件看起来像-
Siler 1001
Gold 8009
Apple 100
Banana 200
我一直在尝试使用以下代码执行此操作-
data1 = LOAD 'f.txt' AS name:chararray,num:int;
data2 = LOAD 's.txt' AS name:chararray,num:int;
data3 = UNION data1,data2;
data4 = GROUP data3 BY name;
data5 = FOREACH data4 GENERATE group,data3.num;
STORE data5 INTO 'final.txt';
Silver {(1001)})
Gold {(8009)}
Apple {(100)}
Banana {(200)}
我希望输出数据看起来像我上面提到的那样。关于如何实现这一点的任何建议。
解决方法
无需对数据进行分组,因为所需的输出是具有相同架构的两个文件的简单合并。只需一个简单的UNION。除非您有重复的项目需要在其中添加num,否则必须将它们分组和求和。
data1 = LOAD 'f.txt' AS name:chararray,num:int;
data2 = LOAD 's.txt' AS name:chararray,num:int;
data3 = UNION data1,data2;
STORE data3 INTO 'final.txt';
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。