数据连接-一次同步从多个URL下载文件

如何解决数据连接-一次同步从多个URL下载文件

作为一次同步的一部分，我如何使用数据连接从大量的URL下载文件？

我希望能够并行执行此操作，因为我每天将下载1–2,000个新文件。我还希望所有文件都存储在单个数据集中。

解决方法

使用magritte-rest-plugin支持此功能。将源配置为magritte其余源的地图。来源格式为：

type: magritte-rest-v2
  sourceMap:
    source_name_1:
      source-object
    source_name_2:
      source-object2

填写后的外观可能如下：

type: magritte-rest-v2sourceMap:
    my_api:
      type: magritte-restauthToken: "{{token}}"url: "https://some-api.com/"another_api:
      type: magritte-restauthToken: "{{other_token}}"url: "https://some-other_api.com/"