scrapy没有正确下载文件.我有我的项目的URL,所以我想我可以使用wget下载文件.
如何在scrapy process_item函数中使用wget?或者,还有另一种下载文件的方式吗?
class MyImagesPipeline(ImagesPipeline):
#Name download version
def image_key(self,url):
image_guid = url.split('/')[-1]
return 'full/%s' % (image_guid)
def get_media_requests(self,item,info):
if item['image_urls']:
for image_url in item['image_urls']:
# wget -nH image_ul -P images/
yield Request(image_url)
最佳答案
此代码将执行wget,您可以使用以下行替换您的注释
import subprocess
...
subprocess.call(['wget','-nH',image_url,'-P images/'])
你可以在这里阅读有关subprocess.call的内容:http://docs.python.org/2/library/subprocess.html
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。