kafkaRDD next慢

如何解决kafkaRDD next慢

我的火花消耗Kafka出现数据累积问题。故障排除后，我发现数据消耗非常耗时，大约需要10分钟。我在这里找到了特定的代码。

   while (consumerRecords.hasNext()) {
       long begin = System.currentTimeMillis();
       ConsumerRecord<String,Message> consumerRecord = consumerRecords.next();
       long next = System.currentTimeMillis() - begin ;
   ....

consumerRecords对象的类型是KafkaRDD，next（）方法花费了大约40秒钟来返回数据。这导致数据积累。

这是我从监视中获得的信息

2020/10/19 18：03：44.000 7条记录40分钟0.4 s 40分钟
2020/10/19 18：03：43.500 2条记录40分钟0.4 s 40分钟
2020/10/19 18：03：43.000 7条记录39分钟40 s 40分钟
2020/10/19 18：03：42.500 2条记录39分钟0.4 s 39分钟
2020/10/19 18：03：42.000 8条记录39分钟0.4 s 39分钟

我不知道如何继续解决此问题，或者是什么导致它如此费时？

请给我一些指导和建议，谢谢