有没有办法为数据融合中的管道注入“资源”内存值？

如何解决有没有办法为数据融合中的管道注入“资源”内存值？

我正在尝试在 Google Cloud Data Fusion 中自动执行一些管道（我们目前使用 6.1.4 和 6.4.0）。此时我们正在通过 PUT API 调用将一些“运行时参数”注入 DF。 我的问题是关于输入参数来修改配置部分。例如，我们目前正在使用“system.profile.name”参数来告诉此管道使用特定的配置文件，请参阅： Screenshot of Runtime Arguments。

我想知道是否有任何类似的配置选项来定义“配置/资源/执行程序内存”标签：Screenshot of "Configure/Resources" label。我知道这可以通过修改 UI 或在导入管道之前在管道模板 (json) 中设置不同的值来手动配置。但是我想知道是否有任何方法可以在部署管道后自动执行此操作（我不想每次修改此管道时都重新部署管道）。

提前致谢！

解决方法

我不认为可以将其设置为首选项，但您可以使用 CDAP 的 PUT API 在管道上传时进行设置，或更新管道：

PUT /v3/namespaces/<namespace-id>/apps/<pipeline-name>

{
    "name": "<pipeline-name>","description": "Data Pipeline Application","artifact": {
        "name": "cdap-data-pipeline","version": "[6.1.1,7.0.0)","scope": "SYSTEM"
    },"config": {
        "resources": {
            "memoryMB": 9999,"virtualCores": 9
        },"driverResources": {
            "memoryMB": 9999,...
    }
...
}

上传的 JSON 应该是您的整个管道，但根据您的偏好设置驱动程序和执行程序资源。与每次使用 UI 相比，这应该更容易实现自动化。如果您有更多问题，请告诉我。