忽略 go 网络爬虫中的外部链接

如何解决忽略 go 网络爬虫中的外部链接

我真的是新手，现在我正在按照本教程构建一个简单的网络爬虫来使用它：https://jdanger.com/build-a-web-crawler-in-go.html

它的分解非常好，但我想放置一些东西，以便排队的唯一链接是主域的一部分，而不是外部。

假设我正在抓取 https://www.mywebsite.com，我只想包含 https://www.mywebsite.com/about-us 或 https://www.mywebsite.com/contact 之类的内容 - 我不想要子域，例如 https://subdomain.mywebsite.com 或找到了像 https://www.facebook.com 这样的外部链接，因为我不希望爬虫掉入黑洞。

查看代码，我认为我需要对修复相关链接的函数进行更改：

func fixUrl(href,base string) (string) {  // given a relative link and the page on
  uri,err := url.Parse(href)              // which it's found we can parse them
  if err != nil {                          // both and use the url package's
    return ""                              // ResolveReference function to figure
  }                                        // out where the link really points.
  baseUrl,err := url.Parse(base)          // If it's not a relative link this
  if err != nil {                          // is a no-op.
    return ""
  }
  uri = baseUrl.ResolveReference(uri)
  return uri.String()                      // We work with parsed url objects in this
}                                          // func but we return a plain string.

但是我不是 100% 确定如何做到这一点，我假设需要某种 if/else 或进一步解析。

任何提示都将非常感谢我的学习

解决方法

我快速阅读了 jdanger 教程并运行了完整的示例。毫无疑问，有几种方法可以完成您想做的事情，但这是我的看法。

您基本上希望不将域与某些指定域不匹配的任何 URL 加入队列，大概是作为命令行参数提供的。该示例使用 fixUrl() 函数构造完整的绝对 URL 并指示无效 URL（通过返回 ""）。在这个函数中，它依赖于 net/url 包进行解析等，特别是 URL data type。 URL 是具有以下定义的 struct：

type URL struct {
    Scheme      string
    Opaque      string    // encoded opaque data
    User        *Userinfo // username and password information
    Host        string    // host or host:port
    Path        string    // path (relative paths may omit leading slash)
    RawPath     string    // encoded path hint (see EscapedPath method); added in Go 1.5
    ForceQuery  bool      // append a query ('?') even if RawQuery is empty; added in Go 1.7
    RawQuery    string    // encoded query values,without '?'
    Fragment    string    // fragment for references,without '#'
    RawFragment string    // encoded fragment hint (see EscapedFragment method); added in Go 1.15
}

需要注意的是Host。 Host 是 URL 的“whatever.com”部分，包括子域和端口（请参阅 this wikipedia article for more info）。进一步阅读文档，有一个方法 Hostname() 将剥离端口（如果存在）。

因此，尽管您可以向 fixUrl() 添加域过滤，但在我看来，更好的设计是先“修复”URL，然后对结果以查看其 Host 匹配所需的域。如果它不匹配，请不要将 URL 加入队列并继续处理队列中的下一项。

所以，基本上我认为您走在正确的轨道上。虽然我确实将您的功能添加到了本教程程序的本地副本中，但我并未包含鼓励您自己解决的代码示例。