RDD重新计算任务失败是否会导致重复数据处理？

如何解决RDD重新计算任务失败是否会导致重复数据处理？

当某个特定任务失败导致RDD从lineage重新计算（可能是通过再次读取输入文件）时，Spark如何确保没有重复处理数据？如果失败的任务已将一半数据写入某些输出（如 HDFS 或 Kafka）怎么办？它会再次重写那部分数据吗？ 这与恰好一次处理有关吗？

解决方法

默认情况下输出操作具有至少一次语义。如果 worker 发生故障，foreachRDD 函数将执行多次，从而多次将相同的数据写入外部存储。有两种方法可以解决这个问题，幂等更新和事务更新。以下部分将进一步讨论它们

进一步阅读

http://shzhangji.com/blog/2017/07/31/how-to-achieve-exactly-once-semantics-in-spark-streaming/