如何解决Celery 从任务中创建任务
我正在尝试创建一个任务,该任务将创建其他任务。如果我抓取一个网页并且我想下载 HTML 中的所有 jpeg 文件,我想在该任务中启动一个子任务。我事先不知道 html 页面,因为它在任务中运行。
@task
def getpage(url):
r = requests.get(url).content
.... loop over the html and find an image link
getimage.delay(url_to_image)
....
if you find link to other html page
getpage.delay(url_to_page)
因此,如果我们抓取一个包含 3 个图像的页面,并链接到另外两个 html 页面,并且每个页面上都有 2 个图像,那么我们总共下载了 7 个图像和 3 个 html 页面。
我知道我可以做到这一点,如果我先获取所有 html 页面和所有图像,然后调用子任务,然后我等待下载所有图像和 html。
如果我有 1000 个 html 页面,那将需要一段时间,所以我想为每个页面启动子任务。这可能吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。