如何解决处理 ItemIterator
基本上我使用 Tweepy 来获取用户整个推特时间线,使用 Cursor:
tweets_timeline = tweepy.Cursor(api.user_timeline,id=user_id,tweet_mode="extended").items()
这给了我一个 ItemIterator,女巫,根据用户的不同,可以有 3500 多个项目。通过使用函数处理这些项目,我花了将近一分钟的时间,我试图加快这个过程。
我试过多处理这个任务,就像这样:
executor = concurrent.futures.ProcessPoolExecutor(10)
future = [executor.submit(task,args) for tweet in tweets_timeline]
concurrent.futures.wait(future)
但它似乎既不起作用也不是最佳解决方案。
是否有加快进程的正确方法?
谢谢。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。