Bash 并行下载脚本。1900 页，分 190 次下载完。
for i in {0..190} ; do
{
let start=$i*10
let end=$i*10+10
for ((page=$start;page<$end;page++)) do
{
echo "down $page"
curl "http://www.site.org/advice/index.asp?DjjIntPcnt=$page" -o src/$page.txt
} &
done
wait
echo "finish batch $i"
sleep 1
}
done
如果遇到字符集问题，可下载完成后转换：
find *.txt -exec sh -c "iconv -f GB18030 -t UTF8 {} > result/{}" \;
原文地址：https://www.jb51.cc/bash/392133.html
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
