Kubernetes HPA 未使用 istio 上的 prometheus 适配器使用自定义指标进行扩展

如何解决Kubernetes HPA 未使用 istio 上的 prometheus 适配器使用自定义指标进行扩展

我有两个部署在 istio 中运行相同服务的 v1 和 v2。我已经设置了一个自定义指标“istio-total-requests”以通过 prometheus adapater 收集。

我已经设置了一个 HPA 来扩展 v2 部署，并且在我发送请求时可以看到目标值在增加，但没有发生的是 HPA 没有扩展 pod/副本的数量。

我在 minikube v1.13.1 上运行 kubernetes v1.19，不明白为什么它不能扩展。

prometheus:
  url: http://prometheus.istio-system.svc.cluster.local
rules:
  default: false
  custom:
# this rule matches cumulative cAdvisor metrics measured in seconds
  - seriesQuery: 'istio_requests_total{kubernetes_namespace!="",kubernetes_pod_name!=""}'
    seriesFilters: []      
    resources:
      # template: <<.Resource>>
      # skip specifying generic resource<->label mappings,and just
      # attach only pod and namespace resources by mapping label names to group-resources
      overrides:
        kubernetes_namespace: {resource: "namespace"}
        kubernetes_pod_name: {resource: "pod"}
    # specify that the `container_` and `_seconds_total` suffixes should be removed.
    # this also introduces an implicit filter on metric family names
    name:
      # we use the value of the capture group implicitly as the API name
      # we Could also explicitly write `as: "$1"`
      matches: "^(.*)_total"
      as: "${1}_per_second"
      # matches: ""
      # as: ""
    # specify how to construct a query to fetch samples for a given series
    # This is a Go template where the `.Series` and `.LabelMatchers` string values
    # are available,and the delimiters are `<<` and `>>` to avoid conflicts with
    # the prometheus query language
    metricsQuery: "sum(rate(<<.Series>>{<<.LabelMatchers>>}[1m])) by (<<.GroupBy>>)"

HPA YAML

apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
Metadata:
  name: translate-deployment-v2-hpa
spec:
  minReplicas: 1
  maxReplicas: 10
  metrics:
  - type: Pods
    pods:
      metric:
        name: istio_requests_per_second
        # selector: {matchLabels: {destination_version: 0.0.2}}
      target:
        type: AverageValue
        averageValue: 10
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: translate-deployment-v2

查看 HPA 拉取和测量指标但未缩放，其下方的窗口显示成功查询指标的 prometheus 适配器。

HPA 说明

最后一项我不清楚，上面的 hpa 定义中选择器的目的是什么？是否从prometheus查询的数据范围中选择特定值？

例如我知道我查询的字段默认由特使输出如下：

istio_requests_total{app="istio-ingressgateway",chart="gateways",connection_security_policy="unkNown",destination_app="translate-pod",destination_canonical_revision="0.0.1",destination_canonical_service="translate-pod",destination_principal="spiffe://cluster.local/ns/default/sa/default",destination_service="translate-service.default.svc.cluster.local",destination_service_name="translate-service",destination_service_namespace="default",destination_version="0.0.1",destination_workload="translate-deployment",destination_workload_namespace="default",heritage="Tiller",install_operator_istio_io_owning_resource="unkNown",instance="172.17.0.5:15020",istio="ingressgateway",istio_io_rev="default",job="kubernetes-pods",kubernetes_namespace="istio-system",kubernetes_pod_name="istio-ingressgateway-6cfd75fc57-flmhp",operator_istio_io_component="IngressGateways",pod_template_hash="6cfd75fc57",release="istio",reporter="source",request_protocol="http",response_code="200",response_flags="-",service_istio_io_canonical_name="istio-ingressgateway",service_istio_io_canonical_revision="latest",source_app="istio-ingressgateway",source_canonical_revision="latest",source_canonical_service="istio-ingressgateway",source_principal="spiffe://cluster.local/ns/istio-system/sa/istio-ingressgateway-service-account",source_version="unkNown",source_workload="istio-ingressgateway",source_workload_namespace="istio-system"}

选择器是否允许您进一步过滤系列数据，如果不是，目的是什么以及如何使用它？

解决方法

根据您的屏幕截图，HPA 按预期工作，因为您的指标值低于阈值。如果该值没有超过您的阈值，HPA 将不会触发放大。相反，它可能会在您的情况下触发缩减。

您现在使用的指标是 istio_requests_per_second。这是按每秒总请求数计算的。第一个屏幕截图显示平均值为 200m，即 0.2。您的阈值是 10，因此在这种情况下，HPA 肯定不会扩大规模。

对于选择器，它使您能够在指标下选择目标标签。例如，如果您只想针对 GET 方法扩展实例。在这种情况下，您可以定义与 GET 方法标签匹配的选择器。