如何解决如何在 Apache Flink 中共享变量和日志记录?
Apache Flink 提供了轻松适配操作符的可能性。我对内部处理感兴趣,并想记录在操作员内部发生的事情。为此,将一个记录器对象分发给操作员。
public class LogSink extends RichSinkFunction<TaxiRide> {
private static final Logger log = LoggerFactory.getLogger("myLogger");
public LogSink() {
String msg = "Log Sink initialized";
log.info(msg);
}
@Override
public void invoke(TaxiRide ride,Context context) throws Exception {
log.info("Name: " + ride.getName());
}
}
}
在主服务器(master)上的主方法中,我初始化了操作符。因此,消息 "log sink initialized"
会根据需要出现在我的自定义日志文件中。
但是记录在 "Name: TaxiRide324"
中的日志消息(例如 invoke()
) - 它被从属调用,例如另一个 JVM - 在 flinks taskexecutor.log
中写入。
我想,这是因为分布式处理。 TaskManager 和 JobManager 具有不同的 JVM,因此 JobManager 在执行中不会使用/看到初始化的记录器。 (但有趣的是没有 NullPointerExeption
...)
所以我的问题是:如何在分布式 flink 集群上实现内部类的初始化和执行之间的对象共享?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。