在 spark rdd 中将 lambda 定义作为元组的一部分会导致大小的巨大增加

如何解决在 spark rdd 中将 lambda 定义作为元组的一部分会导致大小的巨大增加

我正在维护一些仍然使用 RDD api 的旧 Spark 1.6 代码。 我有这个 rdd 以 String 作为键和 lambda 作为值，lambda 是：

override def setMeasureIdFunction = (a,ctx,_) => {
      if (a.getPodStatus != dispatchStatus.disPATCHABLE) None else Some { measureId =>
        val realMeasureId = Option(a.getMeasureId).getorElse(Long.Box(measureId))
        a.setMeasureId(realMeasureId)
        (a,MeasureIdSendRecord(a.getPod,realMeasureId,List(a.getMeasSentId),Receivers.MELT,ctx.dispatchType.getFullType,None,a.getLastUpdAuth))
      }
    }

返回的案例类除了实例化对象之外什么都不做。 任何人都知道这个东西如何将我以前的 RDD 的内存大小从 880MB 增加到 56GB