UnicodeEncodeError: 'charmap' codec can't encode character '\ufffd' in position 36: character maps to <undefined>

如何解决UnicodeEncodeError: 'charmap' codec can't encode character '\ufffd' in position 36: character maps to <undefined>

项目：网络抓取您从 https://theuselessweb.com/ 获得的标题和网址

问题 1：http://www.republiquedesmangues.fr/ 的标题使用了程序（或其他）无法使用的字符，因此程序崩溃。

问题 2：有没有简单的方法可以摆脱倍数？当一个 URL/标题被保存两次或更多次时，我想删除除一个之外的所有内容。 （也许通过使用数据库。如果是这样，请建议一个。）

代码：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import webdriverwait
from time import sleep

PATH = r"C:\Users\Leander\Documents\scraping\chromedriver.exe"
driver = webdriver.Chrome(PATH)
driver.get("https://theuselessweb.com/")
driver.switch_to.window(driver.window_handles[-1])
button = driver.find_element_by_id("button")

file = open("C:\\Users\\XXX\\Documents\\scraping\\programs\\file.txt","w")
for i in range(100):
    button.click()
    driver.switch_to.window(driver.window_handles[2]) #HERE
    if driver.title == "":
        file.write("No title\n")
    else:
        file.write("Title: "+driver.title+"\n")
    file.write("URL: "+driver.current_url+"\n\n")
    driver.close()
    driver.switch_to.window(driver.window_handles[1]) #HERE
file.close()

此代码可能不适合您，因为我的 Chrome 每次通过 selenium 打开它时都会打开设置。如果您不这样做，只需将代码中标有“#HERE”的“[]”中的数字更改为小一号（即 1 和 0，而不是 2 和 1）。