微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

当我使用 HadoopInputFormat 作为 StreamExecutionEnvironment.createInput 的输入时,我可以使用批处理模式吗?如果不是,为什么?如果是,如何?

如何解决当我使用 HadoopInputFormat 作为 StreamExecutionEnvironment.createInput 的输入时,我可以使用批处理模式吗?如果不是,为什么?如果是,如何?

我使用的是 Flink 1.13。我想使用StreamingExecutionEnvironment的批处理模式来处理HBase快照数据文件

Job job = Job.getInstance(conf);
TableSnapshotInputFormat.setInput(job,snapshotName,new Path(restoreDir));

HadoopInputFormat<ImmutableBytesWritable,Result> input = HadoopInputs.createHadoopInput(
  new TableSnapshotInputFormat(),ImmutableBytesWritable.class,Result.class,job);

env.createInput(
  input,Typeinformation.of(new TypeHint<Tuple2<ImmutableBytesWritable,Result>>() {}))

...

当我使用上面的代码时,它抛出了异常:

org.apache.flink.client.program.ProgramInvocationException:主要方法导致错误:检测到未绑定源,“execution.runtime-mode”设置为“BATCH”。这种组合是不允许的,请将 'execution.runtime-mode' 设置为 STREAMING 或 AUTOMATIC

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。