如何通过python中的网页抓取登录谷歌？

如何解决如何通过python中的网页抓取登录谷歌？

我一直在尝试通过使用 python（selium 和 beutifulsoup）抓取页面来进入 google 网页，但是它需要登录，问题是我提出了一个帖子请求以输入我的电子邮件，但它没有更改页面：

with requests.Session() as s:
        p = s.post(new_url,data={
            "email": 'my_mail_here',})
        new_url = driver.current_url
        driver.get(new_url)
        time.sleep(3)
        p = s.post(new_url,data={
            "password": "my_pass_here"
        })
        new_url = driver.current_url
        driver.get(new_url)
        time.sleep(3)
        base_page = s.get(url)
        soup = BeautifulSoup(base_page.content,'html.parser')
        print(soup.prettify())

解决方法

使用 Selenium，您可以使用 send_keys。安装 selenium，安装浏览器驱动程序，给 selenium 浏览器和驱动程序的位置。导航到网站。检查输入框的用户名和密码。使用 xpath、class、id 查找适合您需要的元素。使用发送键如下。这是 Mac 的粗略设置。 Windows 略有不同。

from selenium import webdriver
import time
from random import randint as rnd

options = webdriver.ChromeOptions()
options.binary_location = '/Users/user/Desktop/Google Chrome.app/Contents/MacOS/Google Chrome'
chrome_driver_exec = '/Users/user/Documents/WebDrivers/chromedriver-3'
driver = webdriver.Chrome(chrome_driver_exec,options=options)

driver.get('https://website.com')
driver.set_window_size(1440,900)
time.sleep(rnd(3,5))
# login
driver.find_element_by_xpath('/html/body/div[1]/div[5]/div[1]/div[2]/div/div[2]/ul/li[5]/a').click()
time.sleep(rnd(3,5))

driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[1]/div/div[3]/div[2]/form/div[2]/div[1]/input').send_keys('username')
time.sleep(rnd(2,4))
driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[1]/div/div[3]/div[2]/form/div[2]/div[2]/div/div/input').send_keys('password')