Golang反向代理| http：代理错误：拨号 tcp 10.0.0.0:443 连接：连接被拒绝

如何解决Golang反向代理| http：代理错误：拨号 tcp 10.0.0.0:443 连接：连接被拒绝

我正在做一个简单的反向代理操作，而在后台运行的服务器通常在 cloudflare 上运行，当我落后于反向代理时，我开始收到无数的“连接：连接被拒绝”错误。

我使用标准的 go 库，没有额外的性能改进优化。

这里没有我可以分享的示例代码，因为我做了一个非常简单的过程..

我正在处理的网站每天收到 4-5 百万个请求，并且实时请求数量惊人。我对标准网站没有任何问题，但这种规模的网站让我很难受。有什么技巧可以推荐给我吗？

Jun 19 03:44:33 ubuntu main[492935]: 2021/06/19 03:44:33 http: proxy error: dial tcp xx.xxx.x.xx:80: connect: connection refused
Jun 19 03:44:33 ubuntu main[492935]: 2021/06/19 03:44:33 http: proxy error: dial tcp xx.xxx.x.xx:80: connect: connection refused
... repeated many many times ...

编辑帖子；在评论之后，我也想分享我的代码。

package main

import (
    "io/IoUtil"
    "log"
    "net/http"
    "net/http/httputil"
    "net/url"
    "time"
)

type server struct {
    proxy *httputil.ReverseProxy
}

func handler(handler http.Handler) http.Handler {
    return http.HandlerFunc(func(w http.ResponseWriter,r *http.Request) {
        s := &server{}
        ob := &resp{ResponseWriter: w}
        s.ServeHTTP(ob,r)
        log.Printf("%s %s \"%s %s %s\" %d %d \"%s\" \"%s\"",r.RemoteAddr,r.Host,r.Method,r.URL.Path,r.Proto,ob.status,ob.written,r.Referer(),r.UserAgent())
    })
}

type resp struct {
    http.ResponseWriter
    status      int
    written     uint64
    wroteHeader bool
}

func (o *resp) Write(p []byte) (bytes int,err error) {
    if !o.wroteHeader {
        o.WriteHeader(http.StatusOK)
    }
    bytes,err = o.ResponseWriter.Write(p)
    o.written += uint64(bytes)
    return
}

func (o *resp) WriteHeader(code int) {
    o.ResponseWriter.WriteHeader(code)
    if o.wroteHeader {
        return
    }
    o.wroteHeader = true
    o.status = code
}

func (s *server) ServeHTTP(w http.ResponseWriter,r *http.Request) {
    backend,_ := url.Parse("http://10.0.0.10")
    s.proxy = httputil.NewSingleHostReverseProxy(backend)
    s.proxy.ServeHTTP(w,r)
}

func main() {
    base := &server{}
    http.Handle("/",base)
    s := &http.Server{
        Addr:         ":80",Handler:      handler(http.DefaultServeMux),ReadTimeout:  30 * time.Second,WriteTimeout: 60 * time.Second,IdleTimeout:  120 * time.Second,ErrorLog:     log.New(IoUtil.discard,"",0),}
    log.Panicln(s.ListenAndServe())
}

解决方法

... 设置工作是 cloudflare -> nginx。导致问题的设置是 cloudflare -> 你的反向代理 -> nginx。问题是大多数请求实际上都成功了，但有些请求由于连接被拒绝而失败。

这些错误信息意味着反向代理背后的 nginx 根本无法跟上负载。在这种情况下，TCP listen queue 会填满限制，新连接将被拒绝。所以不是你的proxy的问题，而是proxy后面的nginx的问题。

当 Cloudflare 直接访问站点时，实际上可能会发生同样的情况，但您根本无法访问来自 Cloudflare 的类似日志文件。