如何解决通过高级API使用搜索推文收集存档推文
我试图通过在python中使用此代码来收集旧推文
!pip install searchtweets
import yaml
config = dict(
search_tweets_api = dict(
account_type = 'premium',endpoint = 'https://api.twitter.com/1.1/tweets/search/fullarchive/Label.json',consumer_key = '******************',consumer_secret = '***************************'
)
)
with open('twitter_keys_fullarchive.yaml','w') as config_file:
yaml.dump(config,config_file,default_flow_style=False)
from searchtweets import load_credentials
premium_search_args = load_credentials("twitter_keys_fullarchive.yaml",yaml_key="search_tweets_api",env_overwrite=False)
print(premium_search_args)
query = "(#COVID19 OR # Corona_virus) (pandemic OR corona OR infected OR vaccine)"
rule = gen_rule_payload(query,results_per_call=100,from_date="2020-02-01",to_date="2020-03-31")
from searchtweets import ResultStream
rs = ResultStream(rule_payload=rule,max_results=3000,**premium_search_args)
print(rs)
import json
with open('tweetsData.jsonl','a',encoding='utf-8') as f:
for tweet in rs.stream():
json.dump(tweet,f)
f.write('\n')
print('done')
代码已运行,但我发现了一些麻烦,希望能帮助我避免这些麻烦
首先,我只希望没有转发(RT)的推文和重复的推文
其次,当我将JSON文件转换为CSV文件时发现了一些问题,因此我可以将推文直接收集到CSV文件中吗?
第三:我想收集尽可能多的tweet,而不必再次运行代码。
最后:我尝试在查询中使用2个运算符(AND-OR),但结果不令人满意
我将非常感谢您的帮助
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。