微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

从电子商务平台的搜索结果中抓取Node.js Web

如何解决从电子商务平台的搜索结果中抓取Node.js Web

我正在学习使用nodeJS从电子商务平台(Ebay等)中抓取搜索结果

我面临的问题是这些平台中有赞助产品。 这样,这些赞助项目就会与其他非赞助但与关键字相关的项目一起出现在搜索结果页面中。

当我使用Postman检查负责搜索结果的API时, 看来只能从该API中检索non-sponsored but relevant items。 因此,在这种情况下,仅调用API是不可行的,因为我也想抓取这些赞助项目。

我想问: 使用nodeJS,如何抓取出现在搜索结果页面中的赞助和非赞助项目? 我正在考虑使用某些程序包,例如jsdom或puppeteer,请问我的想法是否正确?非常感谢!

解决方法

我认为您应该使用axios等发送GET请求,然后使用puppeteer或REGEX解析整个网页,您的路径就正确了

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。