Gobblin 中的 HDFS 回顾配置

如何解决Gobblin 中的 HDFS 回顾配置

我看到 Hive 到 Hive 的数据移动在 Gobblin 中有一个回顾配置，我们可以在其中指定我们要使用的分区的日期

gobblin.data.management.copy.hive.filter.LookbackPartitionFilterGenerator

是否有类似的 HDFS 回溯配置到 Gobblin 中的 GCS（Google 云存储）数据副本，只能在特定分区日期之后复制文件？

我在 HDFS 中有按日期分区的文件。

解决方法

如果您想将时间分区的 HDFS 文件复制到 GCS，您可以使用 TimeAwareCopyableGlobDatasetFinder。这个数据集查找器实例化一个 TimeAwareRecursiveCopyableDataset，它接受一个配置来指定回顾时间，指定为天/小时/分钟数。底层的 distcp 作业将复制数据集的所有分区，直到指定的回溯时间。

例如，如果您有兴趣复制过去 2 天数据集的所有每小时分区，您的 Gobblin distcp 作业将包括以下配置：

gobblin.dataset.profile.class="org.apache.gobblin.data.management.copy.TimeAwareCopyableGlobDatasetFinder"
gobblin.dataset.pattern=/root/dataset/path
gobblin.copy.recursive.date.pattern=yyyy-MM-dd-HH
gobblin.copy.recursive.lookback.time=2d