如何解决生成多个字符串时如何避免这种内存不足错误?
我正在执行一项基准测试任务,我需要生成数百万行的事件 json。
这是我的示例代码:
def generateEntry() = {
s"""
|{
| "memberId": ${java.util.UUID.randomUUID.toString},| "first_name": ${nameRandomizer},| "last_name": ${nameRandomizer
|}""".stripMargin
}
// Generate 1000000 rows of Json String with fields: memberId,first_name,last_name
val entryList = mutable.ListBuffer[String]()
for (_ <- 1 to 1000000) {
entryList += generateEntry()
}
val inputRDD: RDD[String] = sc.parallelize(entryList.result())
但是这会导致错误:
java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Arrays.java:3332)
at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:124)
at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:448)
at java.lang.StringBuilder.append(StringBuilder.java:136)
at scala.StringContext.standardInterpolator(StringContext.scala:126)
at scala.StringContext.s(StringContext.scala:95)
顺便说一下,我正在用 spark 编码。我尝试分批执行此操作,但似乎仍然发生错误。请让我知道,或提供示例代码,我可以将其用作解决此问题的指南。谢谢!
解决方法
不需要列表缓冲区。您可以将 Spark 范围映射到您的函数:
val inputRDD: RDD[String] = spark.range(1000000).rdd.map(x => generateEntry())
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。