如何解决我们如何从Apache Spark读取非常大的xml文件？
我想在Spark上读取非常大的xml文件数据集（每个xml文件大小= 1TB），并对每个文件启动解析过程，以便最终将csv文件作为表。
我知道我们可以在Hadoop中使用StreamXmlRecordReader并处理xml，然后从spark中使用HDFS中的xml数据块，也可以从databricks中使用spark-xml库，使用java Mahout XmlInputFormat（Hadoop）解析xml，一些说对于大型xml文件，hadoop方法更好，因此需要了解解决此问题的最佳方法
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
