使用HTTrack仅下载特定子域下的链接无外部链接

如何解决使用HTTrack仅下载特定子域下的链接无外部链接

所以，这就是我要下载的-https://www.slader.com/textbook/9781337624183-calculus-9th-edition/

看起来很简单，我尝试在“扫描规则”中添加几行以强制其下载其下的所有内容，但是由于某种原因，整个过程不到10秒就完成了，它不仅下载了aforemention链接本身。 例如，除了本身拥有https://www.slader.com/textbook/9781337624183-calculus-9th-edition/外，我还希望拥有所有源自其的链接，例如https://www.slader.com/textbook/9781337624183-calculus-9th-edition/311/。 从本质上讲，一切都从上面的第一个链接开始（包括来自其他域的嵌入式图片，但没有外部链接）。 据我所知，调整一些设置并向“扫描规则”部分添加一些规则应该可以解决问题，但我自己无法弄清楚。

解决方法

为了只复制来自该主机的链接而没有其他链接，要包括您提交的第一个链接，您需要设置扫描规则。

在设置网址的菜单页面上，单击“设置选项...”按钮，然后单击“扫描规则”选项卡。接下来，确保您的扫描规则排除所有链接，然后确保它们包括您想要的来源中的链接。这样的设置示例是

+*.png +*.gif +*.jpg +*.jpeg +*.css +*.js -ad.doubleclick.net/* -mime:application/foobar
-*
+*[name].slader.com/*

这实际上将保存所有来自slader.com的链接，但不会存储该域之外的任何内容。

编辑

如果只希望以您在扫描规则中键入的链接开头的链接看起来像这样：

+*.png +*.gif +*.jpg +*.jpeg +*.css +*.js -ad.doubleclick.net/* -mime:application/foobar
-*
+*[name].*[name]https://www.slader.com/textbook/9781337624183-calculus-9th-edition/*[name].*[name]/*

编辑

由于特定瞄准具的链接结构不同，您可能无法通过HTTrack获得其他页面，例如“四种表示功能的方法”。如果您查看来源，则其链接的发布方式如下：

<tr data-url="/textbook/9781337624183-calculus-9th-edition/17/" class="exercise-group">
                  <td>1.1</td>
                  <td style="width: 360px;">Four Ways to Represent a Function</td>
                  <td style="width: 230px;">Exercises</td>
                  <td style="width: 74px;">p.17</td>
                </tr>

您可以看到他们正在使用data-url属性使用JS库在浏览器中实际导航下一页。由于这不是锚标记，因此HTTrack不会跟随它，因为它不会将其视为链接。

一些替代方法是使用Selenium或Scrapy之类的东西来编写具有自己的规则的网络抓取工具，以便更好地理解它。