如何解决每次运行scrapy脚本时ReactorNotRestartable
运行脚本后出现 ReactorNotRestartable
错误。我需要重新启动控制台以防止出现这种情况。我在 python 3.7 中使用 Spyder。
代码:
import scrapy
from scrapy.crawler import CrawlerProcess
# your spider
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = ['http://quotes.toscrape.com/tag/humor/']
def parse(self,response):
for quote in response.css('div.quote'):
print(quote.css('span.text::text').extract_first())
if __name__ == "__main__":
process = CrawlerProcess()
process.crawl(QuotesSpider)
process.start()
我尝试将 process.start()
更改为 process.start(stop_after_crawl=False)
以防止出现这种情况,但这仅意味着代码在运行后不会退出并且无法解决问题。
有没有办法在代码运行后关闭反应器以防止出现 ReactorNotRestartable
错误?
我在导入 reactor.stop()
时尝试了 from twisted.internet import reactor
,但这仍然导致后续运行代码时出错。
谢谢
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。