如何解决在 Google Cloud Storage 中使用 Flink Table APIFlink 版本 1.12.0存储镶木地板文件时出现内存不足错误-堆
希望你一切顺利。我们目前使用 Flink Table API（Flink Version-1.12.0）从 Kafka 流式传输数据并将其存储在 Google Cloud Storage 中。我们用来存储数据的文件格式是 Parquet。最初，Flink 作业运行良好，我们能够流式传输数据并将其成功存储在 Google Cloud Storage 中。但是我们注意到，一旦我们增加了输入数据的基数，也增加了到 Kafka 的数据量，即每秒向 Kafka 传输更多事件，我们注意到 Flink Job 会抛出以下错误：
- 超出 GC 超限
- Java 堆内存空间不足 - 错误。
我们尝试使用 Kubernetes 集群运行 flink，并在 YARN 上运行 flink。在这两种情况下，随着数据量的增加，我们看到了上述错误。 我们提供了 2 个任务管理器，每个 10 GB，为作业管理器提供 1 GB。我们的 flink 作业的检查点间隔是 3 分钟。我知道 Flink-https://issues.apache.org/jira/browse/FLINK-20945 中存在一个错误。 如果有办法解决这个问题，请告诉我。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
