微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何在 Apache Flink 中共享变量和日志记录?

如何解决如何在 Apache Flink 中共享变量和日志记录?

Apache Flink 提供了轻松适配操作符的可能性。我对内部处理感兴趣,并想记录在操作员内部发生的事情。为此,将一个记录器对象分发给操作员。

public class LogSink extends RichSinkFunction<TaxiRide> {
    private static final Logger log = LoggerFactory.getLogger("myLogger");

    public LogSink() {
        String msg = "Log Sink initialized";
        log.info(msg);
    }

    @Override
    public void invoke(TaxiRide ride,Context context) throws Exception {
        log.info("Name: " + ride.getName());
        }
    }
}

在主服务器(master)上的主方法中,我初始化了操作符。因此,消息 "log sink initialized" 会根据需要出现在我的自定义日志文件中。

但是记录在 "Name: TaxiRide324" 中的日志消息(例如 invoke()) - 它被从属调用,例如另一个 JVM - 在 flinks taskexecutor.log 中写入。

我想,这是因为分布式处理。 TaskManager 和 JobManager 具有不同的 JVM,因此 JobManager 在执行中不会使用/看到初始化的记录器。 (但有趣的是没有 NullPointerExeption...)

所以我的问题是:如何在分布式 flink 集群上实现内部类的初始化和执行之间的对象共享?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。