如何从带有 AJAX 请求的网站获取 HTML 页面而不会出现 CORS 错误？

如何解决如何从带有 AJAX 请求的网站获取 HTML 页面而不会出现 CORS 错误？

我正在尝试使用 XMLHttpRequest 使用 javascript 代码进行基本的网页抓取。当我单击使用 Firefox 浏览器打开的 html 页面中的按钮时，会触发该代码。

我使用的代码如下。它尝试从 ATP 旅游网站获取 html 页面并将其打印为第一步。然后我会尝试解析它以获得我想要的信息（例如排名）。

let htmlRequest = new XMLHttpRequest();
htmlRequest.open("GET","https://www.atptour.com/en/players/matteo-berrettini/bk40/overview");
htmlRequest.onreadystatechange = function () {
    if (this.readyState == XMLHttpRequest.DONE && this.status == 200) {
        console.log(this.responseText);
    }
};
htmlRequest.send();

我发现在 localhost 上运行此代码不起作用，因为我与发送请求的站点不在同一个域中（这是典型的 CORS 问题）。

我现在明白我需要创建一个网络服务器，但我对问题的理解到此为止。

所以我的问题是：我必须实现什么才能使我的 js 脚本工作？

解决方法

您是否尝试过网络抓取库？这些是一些：

• Apify
• Puppeteer
• Cheerio