如何解决如何停止Spark文件流作业从HDFS读取.tmp文件？
我正在使用Spark文件流从Hadoop文件夹读取和处理。 但它也从Hadoop流式传输.tmp文件。请帮助我仅从Hadoop流式传输完成的文件。
我正面临这个问题。
作业由于阶段故障而中止：257.0阶段中的任务1失败了4次，最近一次失败：257.0阶段中的任务1.3丢失（TID 18830，Cassandra1，执行器1）：java.io.FileNotFoundException：文件不存在： /mmi_traffic/listenerTransaction/2020/09/18/18/listenerTransaction.1600433700521.gz.tmp
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
