如何解决Hadoop mapreduce 输入格式非常长的单行输入文件
我有一些非常大的 .sql 文件。它们的大小约为 100GB 或更多。我只需要分析它的数据。该数据在单行（插入）中并且具有非常多的记录。数据示例如下：
-- MysqL dump 10.14 distrib 5.5.64-MariaDB,for Linux (x86_64)
--
-- ------------------------------------------------------
-- Server version 5.6.10
/*!40101 SET @OLD_CHaraCTER_SET_CLIENT=@@CHaraCTER_SET_CLIENT */;
CREATE TABLE `users` (
`id` bigint(20) unsigned NOT NULL,...
...
INSERT INTO `users` VALUES (23770,'han','rrish','Ean','soup7@lahoo.com','bounced',2,'400f0d811b851298bde4ac33d2f','male','wmen',3,'1990-06-21',1422,39017700,-94310640,'64015','US',1,'48df9339926.51312096',NULL,'2008-02-26 03:56:41','201-11-01 21:29:57','2019-09-24 00:29:07',178,7,4,14,6,9223036786810880,8,5129,NULL ...
现在我必须使用 mapreduce 拆分每条数据记录并处理以进行进一步统计。我应该在 Apache Hadoop (3) 自定义作业中使用哪种输入格式？我有一个小型集群，我必须在其中处理此类数据。
有没有更好的解决办法？ 我愿意将 Hadoop 流与 Python 或 Hadoop Java 一起使用。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。