如何从 GCP DataFusion / CDAP 管道内执行多个 HTTP 调用

如何解决如何从 GCP DataFusion / CDAP 管道内执行多个 HTTP 调用

我有一个 GCP 数据融合管道，我在其中对 API 执行 GET 请求，该请求返回一个包含用户 ID 的用户信息的 JSON 列表。我可以使用 Data Fusion HTTP 插件（在 Data Fusion HUB 中可用）成功完成此操作。以下是此类列表的示例：

[
{
  "id" : "adsa6d672","firstName" : "John","lastName" : "Doe"
},{
  "id" : "adsa6d672","lastName" : "Doe"
}
]

基于此列表（我已成功解析），我想在另一个 API 上基于每个用户 ID 进行 HTTP 调用，而不是将其沉入数据库。有没有办法在单个 Data Fusion 管道上执行此操作（而不必为了执行一个 HTTP 请求而启动另一个管道？

我尝试使用 Data Fusion python 转换插件（在 HUB 中可用）并使用 python requests 库来执行 http 请求，但这最终导致错误，因为请求库未安装在运行转换插件的python解释器。

解决方法

您是否尝试过使用 HTTP 接收器？从 Hub 中，您可以找到包含 HTTP 接收器的 HTTP 插件。