微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Flink 独立模式 - 每个作业单独的日志文件

如何解决Flink 独立模式 - 每个作业单独的日志文件

我正在运行一个独立的 Flink 集群,我多次运行相同的作业(多租户),每次都指向不同的 Kafka 主题。我想让每个作业生成单独的日志文件。所以我在 logback.xml 中为单个作业配置了单个滚动 appender 和 logger。关键是所有这些作业都会将日志写入在 logback.xml 中配置的同一个文件中。由于多个作业同时将日志写入同一文件,这会导致任何问题(文件损坏)吗?根据 logback 文档 (http://logback.qos.ch/manual/appenders.html#prudent),谨慎模式应该可以解决这个问题,但会降低一些性能。是否可以为每个作业配置 MDC 以具有单独的日志,以便我们可以避免性能影响?如果是这样,我们如何为每个作业全局设置 MDC?我的理解是这是不可能的,因为线程不断在多个任务之间切换。还有其他方法吗?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。