同时访问nlb和nlb后端机器导致TCP连接超时

问题现象

在使用nlb的过程中，同一个客户端IP使用同一个源端口，同时请求nlb vip的端口和nlb后端机器的端口，会出现TCP Port numbers reused端口重用，并且一直重传SYN导致超时的问题。访问拓扑如下：
192.168.21.10:32777(client) -> 192.168.23.3:80(nlb vip) -> 192.168.1.171:80(server)
192.168.21.10:32777(client) -> 192.168.1.171:80(server)
nlb是四层负载均衡，会透传源IP源端口

问题原因

源IP、源端口、目标IP、目标端口构成TCP的四元组，可以通过四元组唯一标识一个TCP连接。上述拓扑中。nlb会透传客户端IP和端口。最终在服务端192.168.1.171上，会发现已经和192.168.21.10:32777建立TCP连接并且状态是ESTABLISHED了，但是又收到了192.168.21.10:32777发来的SYN请求，导致这条连接无法正常建立。在客户端执行netstat -tanp | grep 32777，会发现其中一个连接一直处于SYN_SENT状态。也就是SYN发出去了，但是没有收到SYN + ACK。
这个问题在高并发，nlb后端机器少的情况下，会比较容易出现。

复现方法

1. 在客户端192.168.21.10执行nc -p 32777 192.168.1.171 80，-p指定客户端使用32777端口发起TCP连接
2. 在客户端192.168.21.10执行nc -p 32777 192.168.23.3 80
3. 在客户端192.168.21.10执行netstat -tanp | grep 32777，输出如下内容

   # netstat -tanp | grep 32777
   tcp        0      1 192.168.21.10:32777     192.168.23.3:80         SYN_SENT    31490/nc
   tcp        0      0 192.168.21.10:32777     192.168.1.171:80        ESTABLISHED 31486/nc
   

4. 一段时间后，第二步发起的连接超时。

抓包报文

客户端192.168.21.10上执行tcpdump host 192.168.1.171 or host 192.168.23.3 -w 192.168.21.10.pcap抓包报文

服务端192.168.1.171上执行tcpdump host 192.168.21.10 -w 192.168.1.171.pcap抓包报文

解决办法

1. 尽量避免使用相同客户端IP，同时请求nlb的vip和nlb的后端服务。
2. 业务加上重试机制

原文地址：https://www.jb51.cc/wenti/3284184.html