试图理解这一点：“用户代理”：“Mozilla/5.0

如何解决试图理解这一点：“用户代理”：“Mozilla/5.0

我已经多次看到这种技术使用过，主要是在这里。

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0"
}

我正试图找出一种方法来概括这个概念，以便在不同的场景中使用。例如，假设我想使用 Mozilla 标头从 Wikipedia 链接获取一些信息。我怎样才能做到这一点？我编写了以下脚本；它根本没有做任何事情。

import requests
import re
import json

url = 'https://en.wikipedia.org/wiki/List_of_national_parks_of_the_United_States'

def main(url):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0","Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8","Accept-Language": "en-US,en;q=0.5","Upgrade-Insecure-Requests": "1","Cache-Control": "max-age=0"
    }
    r = requests.get(url,headers=headers)
    match = re.findall(r'push\(({\"e\".+})',r.text)
    mydic = {i: json.loads(match[i]) for i in range(0,len(match))}
    for i in mydic.values():
        print(i['d']['name'])

同样，我尝试使用以下脚本列出美国总统。同样，它没有做任何事情。

import requests
import re
import json

url = 'https://www.whitehouse.gov/about-the-white-house/presidents/'

def main(url):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0",len(match))}
    for i in mydic.values():
        print(i['d']['name'])

我对 BeautifulSoup 和 Selenium 有所了解（我当然不是这两种工具的专家）。我只是想知道是否有一种方法可以使用 "User-Agent": "Mozilla/5.0 从 URL 中获取 HTML 元素，或者获取 div 类、标题或其他内容。谢谢。