如何解决Python Selenium Scraping twitter 无限加载页面
代码如下:
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
drive = "******/chromedriver"
driver = webdriver.Chrome(executable_path=drive)
print(driver.execute_script("return navigator.userAgent;"))
driver.get("https://twitter.com/login")
time.sleep(3)
username = driver.find_element_by_name("session[username_or_email]")
username.send_keys('******@****.com')
time.sleep(3)
password = driver.find_element_by_name('session[password]')
time.sleep(3)
password.send_keys('*******')
password.send_keys(Keys.RETURN)
time.sleep(3)
driver.get("https://twitter.com/********/media")
time.sleep(3)
videos = driver.find_elements_by_xpath('//video[@preload="auto"]')
sources = [video.get_attribute('src') for video in videos]
print(sources)
scroll_page = driver.execute_script('return document.body.scrollHeight')
但是当我重复“sources”和“scroll_page”时出现错误:selenium.common.exceptions.StaleElementReferenceException:消息:过时的元素引用:元素未附加到页面文档
即使页面已滚动到下一个,我也只从视频标签中获取前 7 个 url src。
在此先感谢各位的帮助!
解决方法
添加等待功能:
driver.implicitly_wait(10) #seconds
这将使驱动程序等待找到您想要查找的元素,我相信问题是当您滚动元素变旧并发生变化时,或者您在 selenium 找到元素之前滚动。
因此,您可能想要查看检查元素,了解滚动时发生的情况。
还有一些答案here可能对您有帮助。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。