Databricks 作业 API 使用单节点集群创建作业

如何解决Databricks 作业 API 使用单节点集群创建作业

当我使用 Databricks 作业 API 时，我想弄清楚为什么会出现以下错误。

{ "error_code": "INVALID_ParaMETER_VALUE","message": "集群验证错误：缺少必填字段：settings.cluster_spec.new_cluster.size" }

我做了什么：

我使用 Databricks UI 创建了一个在单节点集群上运行的作业。
我从用户界面复制并粘贴了作业配置 json。
我删除了我的工作，并尝试通过使用 Job API 发送 POST 并复制如下所示的 json 来重新创建它：

{
    "new_cluster": {
        "spark_version": "7.5.x-scala2.12","spark_conf": {
            "spark.master": "local[*]","spark.databricks.cluster.profile": "singleNode"
        },"azure_attributes": {
            "availability": "ON_DEMAND_AZURE","first_on_demand": 1,"spot_bid_max_price": -1
        },"node_type_id": "Standard_DS3_v2","driver_node_type_id": "Standard_DS3_v2","custom_tags": {
            "ResourceClass": "SingleNode"
        },"enable_elastic_disk": true
    },"libraries": [
        {
            "pypi": {
                "package": "koalas==1.5.0"
            }
        }
    ],"notebook_task": {
        "notebook_path": "/pathtoNotebook/TheNotebook","base_parameters": {
            "param1": "test"
           
        }
    },"email_notifications": {},"name": " jobName","max_concurrent_runs": 1
}

API 的文档没有帮助（找不到有关 settings.cluster_spec.new_cluster.size 的任何信息）。 json 是从 UI 复制过来的，所以我想应该是正确的。

感谢您的帮助。

解决方法

来源：https://docs.microsoft.com/en-us/azure/databricks/dev-tools/api/latest/clusters#--create

要创建单节点集群，请包含示例中显示的 spark_conf 和 custom_tags 条目，并将 num_workers 设置为 0。

{
  "cluster_name": "single-node-cluster","spark_version": "7.6.x-scala2.12","node_type_id": "Standard_DS3_v2","num_workers": 0,"spark_conf": {
    "spark.databricks.cluster.profile": "singleNode","spark.master": "local[*]"
  },"custom_tags": {
    "ResourceClass": "SingleNode"
  }
}