PuppeteerSharp 和页面级代理

如何解决PuppeteerSharp 和页面级代理

我知道在 js 中使用 Puppeteer 是可能的，但我想知道是否有人想出如何在 PuppeteerSharp（不同标签的不同代理）中的页面级别进行代理？。

似乎我可以捕捉到请求，但我不确定如何调整代理。

page.SetRequestInterceptionAsync(true).Wait();                     
page.Request += (s,ev) =>
{
    // what to do?                            
}

编辑

我知道我可以像这样在浏览器级别设置代理；

var browser = await Puppeteer.LaunchAsync(new LaunchOptions
{
    Headless = false,Args = new[] { "--proxy-server=host:port" }
});

var page = await browser.NewPageAsync();
await page.AuthenticateAsync(new Credentials() { Username = "username",Password = "password" });

但这不是我想要做的。我正在尝试为单个浏览器实例中的每个页面设置代理。我想测试大量代理，因此生成浏览器的新实例只是为了设置代理开销太大。

解决方法

您可以为每个逻辑实例使用不同的浏览器实例。我的意思是不要尝试使用不同的代理为每个页面/选项卡设置不同的代理，只需创建新的浏览器实例并通过启动参数设置代理即可。

如果此解决方案不符合您的需求，请查看此 question。 NodeJS 有一个库，可以为每个页面/选项卡使用不同的代理。您可以检查 library source code 并在 C# 应用程序中实现相同的内容。

那个库使用了非常简单的方法。不是通过 puppeter 的浏览器/页面库发送请求，而是通过 nodejs http 工具发送请求。它可以通过使用 page.setRequestInterception 方法来完成。所以库拦截来自页面的每个请求，然后收集数据并通过http工具发送请求。我很久以前用过 C#。所以也许我错了，但你可以尝试使用 HttpWebRequest 或类似的东西。获得结果后，您应该使用方法 request.respond 并在那里传递响应结果。通过这种方式，您可以在应用程序中放置任何类型的代理。检查库的 here 代码。

,

您可以在 --proxy-server 的 Args 属性中设置 LaunchOptions 参数，同时在 LaunchAsync 方法中指定启动选项，这样每当 Puppeteer 启动新选项卡时，它将应用指定的代理。

我是这样使用的：

return await Puppeteer.LaunchAsync(new LaunchOptions
{
     DefaultViewport = null,Args = new[] { 
              "--incognito","--proxy-server=proxyurl:portnumber","--ignore-certificate-errors" },});
}

确保按原样传递代理 URL，不添加任何引号或任何内容。分配给 --proxy-server 的值应该只是代理 URL/IP 和端口号，就是这样。否则 Puppeteer 不会将其识别为有效的代理 URL/IP，并且不会在启动新选项卡时应用它。