纱线集群模式下的火花作业未充分发挥预期/配置的潜力

我的工作是从 s3 存储桶中读取大约 3500 个文件并对其执行转换。我正在使用带有配置的现货实例： m4.16xlarge ，1 个主控，10 个核心。我在集群模式下使用 master 作为纱线运行作业。

我正在使用以下语句读取文件，分区为 1000 以一次读取 1000 个文件，（使用 WholeTextFiles 的原因是在处理文件时检索文件名）：

S S disTRIBUTOR

我使用了多种 spark 配置参数组合，但一次无法读取超过 495 个文件。

帮助我读取495个文件的spark提交作业的配置如下：

spark.sparkContext.wholeTextFiles(srpath,int(partition))

问题是：每个文件大小为 17 MB，执行器内存配置为 22g，每个执行器只有 5 个内核。每个执行程序使用的最大内存为 8 GB（17*495/1024）。 Spot 实例的总内存为 256 GB，有没有其他参数可以帮助我获得比这个更好的结果？