两层 NGINX 反向代理，第二层带有 ssl_client_verify

如何解决两层 NGINX 反向代理，第二层带有 ssl_client_verify

我正在从事的项目是一个部署到 Kubernetes 集群并使用智能卡 PKI 方案进行身份验证的应用程序。该集群在多个应用程序之间共享，并非所有这些应用程序都需要（甚至应该具有）PKI 的客户端证书验证。因此，我们使用 ingress-nginx helm chart 处理进入集群的入口，然后定向到代理应用程序服务（Web 应用程序、api 服务器等）的第二个反向代理。两个代理都有 SSL 证书。

最初，我们使用 Ingress 注释并将 CA 证书安装到 ingress-nginx 部署中以处理客户端证书验证，但现在我们尝试在第二个代理上处理所有证书验证，以便我们有对其进行更多控制。 Ingress-nginx 是一个很棒的工具，但它抽象了很多服务器配置。

目前，我看到的问题是第一个代理 (ingress-nginx) 正在接收请求并将它们正确地代理到第二个代理上。但是，因为 ingress-nginx 没有 ssl_client_verify 指令，所以它不会请求客户端的证书。当请求到达第二个代理（它有 ssl_client_verify）时，该代理只返回 400 并表示客户端从未发送过证书（它没有发送）。

如何告诉第二个代理从第一个代理请求证书，然后第一个代理从用户那里请求证书？或者，如果有更简单的解决方案，我也愿意接受。

我们的 ingress-nginx 控制器的入口对象如下所示：（主机名填充了 kustomize）

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: proxy
  namespace: web
  annotations:
    kubernetes.io/ingress.class: nginx
    cert-manager.io/issuer: cert-issuer
    nginx.ingress.kubernetes.io/force-ssl-redirect: "true"
    nginx.ingress.kubernetes.io/backend-protocol: "HTTPS"
spec:
  tls:
  - hosts:
    - placeholder.com
    secretName: web-cert
  rules:
  - host: placeholder.com
    http:
      paths:
      - backend:
          serviceName: proxy
          servicePort: 443
        path: /

我用于第二个代理的服务器配置如下所示：（环境变量在容器启动时替换为代理映像）

# nginx.conf
user nginx;
worker_processes auto;

error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;

events {
    worker_connections 1024;
}

http {
    include /etc/nginx/mime.types;
    default_type application/octet-stream;

    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
        '$status $body_bytes_sent "$http_referer" '
        '"$http_user_agent" "$http_x_forwarded_for"';

    access_log /var/log/nginx/access.log main;

    sendfile on;

    keepalive_timeout 65;

    include /etc/nginx/conf.d/default.conf;

    client_max_body_size 0;
}

# default.conf
server {
    listen 443 ssl http2 default_server;
    listen [::]:443 ssl http2 default_server;
    server_name ${PROXY_DOMAIN} www.${PROXY_DOMAIN};

    ssl_certificate /etc/nginx/certs/certificate.pem;
    ssl_certificate_key /etc/nginx/certs/key.pem;
    ssl_protocols TLSv1.2 TLSv1.3;
    ssl_ciphers HIGH:!aNULL:!MD5;
    ssl_prefer_server_ciphers on;

    ssl_verify_client on;
    ssl_verify_depth 4;
    ssl_client_certificate /etc/nginx/certs/DoDRoots.crt;

    # Inform the proxyed app which user had connected to this TLS endpoint
    add_header X-Client-Verified $ssl_client_verify;
    add_header X-CLient-Certificate $ssl_client_escaped_cert;

    include /etc/nginx/conf.d/shared_locations.conf;
}

server {
    listen 80;
    server_name ${PROXY_DOMAIN} www.${PROXY_DOMAIN};
    return 301 https://$server_name$request_uri;
}

# shared_locations.conf
location / {
    proxy_pass http://${DOMAIN_FRONT}:${PORT_FRONT}/;
    proxy_set_header Host $host;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

location /api/ {
    proxy_pass http://${DOMAIN_BACK}:${PORT_BACK}/api/;
    proxy_set_header Host $host;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

解决方法

如何告诉第二个代理从第一个代理请求证书，然后第一个代理从用户那里请求证书？

这是不可能的。无法在第一个代理处终止 TLS 连接，同时在 TLS 级别通过客户端证书。除此之外，第一个代理上的 TLS 握手在与第二个代理的 TLS 握手甚至开始之前完成，例如没有办法让第二个代理发出需要客户端证书的信号。