如何解决ADX 请求限制改进
当我运行一些批处理 ADF 管道时,我从 ADX 获取 {"code": "Too many requests","message": "Request is denied due to throttling."}
。我遇到过这个 document on workload 组。我有一个集群,我们没有配置工作负载组。现在我假设所有查询都将由 default
工作负载组管理。我发现 MaxConcurrentRequests
属性是 20。我有以下疑问。
-
这是否意味着这是我的集群可以处理的最大并发请求数?
-
如何找到 ADX 集群可以处理的最大并发请求数?
解决方法
为了理解您的命令被限制的原因,错误消息中的关键元素是:Capacity: 6,Origin: 'CapacityPolicy/Ingestion'
。
这意味着 - 您的集群可以运行的并发摄取操作数为 6。这是根据集群的摄取容量计算的,这是集群的capacity policy .
它受集群拥有的核心/节点总数的影响。通常,您可以:
- 向上/向外扩展以达到更大的容量,和/或
- 减少摄取命令的并行度,以便最多只能同时运行 6 个,和/或
- 向客户端应用程序添加逻辑,以在一些退避后重试此类限制错误。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。