使用 wget 和多处理下载更多文件

如何解决使用 wget 和多处理下载更多文件

我是 Python 新手。我正在尝试使用 wget 和 multiprocessing 同时下载更多文件。

我的问题是有时python进程下载所有图像，但有时它只下载其中的一部分。换句话说，运行相同的过程，我下载了不同数量的图像。有什么想法吗？

先谢谢你！

from multiprocessing import Pool
import wget


def download(args):
    url,spath = args[0],args[1]
    wget.download(url,out=spath)
    
         
urls = [('example.com/example/001.jpg','/home/example/example/0001.jpg'),('example.com/example/002.jpg','/home/example/example/0002.jpg'),('example.com/example/003.jpg','/home/example/example/0003.jpg'),.... 
    ('example.com/example/027.jpg','/home/example/example/0027.jpg'),('example.com/example/028.jpg','/home/example/example/0028.jpg'),('example.com/example/029.jpg','/home/example/example/0029.jpg'),('example.com/example/030.jpg','/home/example/example/0030.jpg')]

 
if __name__ == "__main__":
    pool = Pool()
    pool.map_async(download,urls)
    pool.close()
    pool.join()