如何解决抓取 DuckDuckGo 的多页 HTML
我创建了一个简单的 PHP 脚本来抓取 DuckDuckGo 的 html.duckduckgo.com。我希望抓取的不仅仅是结果的第一页。我使用的库仅支持 GET 请求,我似乎无法找到将显示新结果页面的 GET 参数。
按下“下一步”按钮会向 DDG 发送 POST 请求,我尝试将 POST 请求中的参数添加到 GET 请求中,但没有成功。
知道如何找到 GET 参数以查看下一页结果吗?这种东西真的存在吗?
<?PHP
require "../vendor/autoload.PHP";
use DiDom\Document;
$document = new Document('https://html.duckduckgo.com/html/?q=test',true);
$posts = $document->find('.result__url');
$links = [];
foreach($posts as $post) {
array_push($links,trim($post->text()));
}
$api = json_encode($links);
file_put_contents("links.json",$api);
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。