使用 --mirror 和 --input-file

如何解决使用 --mirror 和 --input-file

我有大量网站需要保存在 warc 中。

一个简单的方法是：

$ wget --no-verbose --delete-after --no-directories \
  --page-requisites --mirror \
  --warc-cdx --warc-file=example https://example.com

对于每个网站。

但我有一个单页列表，我需要完全确定它已被访问过。

例如：

https://example.com/post1
https://example.com/post2
https://example.com/post3

必须保存，但不确定由 https://example.com 开始爬行的蜘蛛网是否可以找到此链接。

所以我想用这个内容写一个名为 urls.txt 的文件：

https://example.com
https://example.com/post1
https://example.com/post2
https://example.com/post3

然后做：

$ wget --no-verbose --delete-after --no-directories \
  --page-requisites --mirror \
  --warc-cdx --warc-file=example --input-file=urls.txt

但是 example.warc.gz 更大，因为每个页面都被访问了好几次。我认为 wget 从每个链接开始一个新镜像，所以这就像保存网站 4 次。

如何使用 warc 制作镜像 --input-file 并避免重复？