如何解决数据连接-并行JDBC提取失败并显示OutOfMemoryError
我正在尝试并行运行一些JDBC提取,但这在java.lang.OutOfMemoryError: Java heap space
上失败。
数据连接内存使用如何工作,如何解决此问题?
解决方法
这里的数据连接代理的内存使用实际上主要取决于fetchSize参数的值。每the Oracle JDBC driver docs,fetchSize
:
当此ResultSet对象需要更多行时,为JDBC驱动程序提供有关应从数据库中获取的行数的提示。
因此,代理的内存使用量应大致为:
number of JDBC extracts running in parallel x fetchSize x size of each row
不幸的是,fetchSize的默认值在不同的JDBC驱动程序之间差异很大。例如,某些版本的Hive JDBC驱动程序将其设置为50,而其他较新的版本将其默认值设置为1000。OracleJDBC驱动程序的默认值设置为10。默认情况下,Postgres会尝试立即获取整个ResultSet。
因此,数据连接允许您配置fetchSize
值。这可以按源和按提取进行配置。
OOM错误外,调整fetchSize
通常可以提高性能significantly。但是,还没有一种万能的解决方案,您必须进行实验以找出提取物的最佳参数值。通常位于500-5000范围内。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。