linux – 我可以通过http验证大量文件下载吗？

我通过wget,1.2TB通过http下载一个大文件.下载大约需要一个星期,现在已经包含两次损坏(m​​d5检查失败,这需要几天才能自行运行).

是否有一种很好的方法来使用say curl验证文件零碎的http？或者将其分解为单独的块,以便我可以识别特定的坏块并重新下载该部分？

该文件是tar存档,因此我认为在解压缩过程中可以按顺序识别每个块的损坏.

解决方法

在服务器端,您可以使用dd和md5sum来校验文件的每个块：

#!/bin/bash
FILENAME="$1"
FILESIZE=`stat --printf="%s" $FILENAME`
CHUNKSIZE=536870912 # 512MB
CHUNKNUM=0
while ! grep -q 'cannot skip' hash.log 2> /dev/null ; do
    dd if=$FILENAME bs=$CHUNKSIZE skip=$CHUNKNUM count=1 2> hash.log | md5sum >> $FILENAME.md5
    CHUNKNUM=$(( CHUNKNUM + 1 ))
done
rm hash.log

您将获得一个带有所有块哈希值的$FILENAME.md5文件.

您现在可以下载该大文件和校验和,在该文件上运行此脚本并比较哈希值.如果任何一个部分获得不匹配的哈希值,您可以使用curl仅下载文件的一部分(如果服务器支持RANGE)并使用dd修补文件.

例如,如果块2出现哈希不匹配：

curl -s -r 536870912-1073741824 | dd of=somelargetarfile.tar seek=536870912 conv=notrunc

这将下载块2,并用它修补大的tar文件.