如何解决在 Spring Boot 中使用 jsoup 进行 Web Scraping 时出现白标错误页面
我是 spring 的新手,我刚刚创建了一个简单的 web scraping spring boot 项目,获取一些路径变量并调用 JSOUP 来获取文档,而不是 scrape来自文档的东西。我面临的问题是它在我的本地主机上运行得非常好,我部署到了 Heroku 服务器,而在真实服务器内部它不工作,我认为无法进行网络调用或其他什么。
@RestController
public class MyController {
@RequestMapping("/grabMedia/{postID}")
public MyModel Grab(@PathVariable String postID) {
String POSTURL = buildPostUrl(postID);
try {
return parseGrabModel(POSTURL);
} catch (IOException e) {
e.printStackTrace();
return new InstaGrab(null,"Error : " + e.getLocalizedMessage(),true);
}
}
private MyModel parseGrabModel(String url) throws IOException {
Document document = Jsoup.connect(url).header("Accept-Encoding","gzip,deflate").userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0").get();
MyModel grabModel = new MyModel();
grabModel.setGrabbedMedia(mediaList(document.toString()));
grabModel.setMessage("Success");
return grabModel;
}
private List<Media> mediaList(String content) {
** did some scraping here **
** while loop etc **
** and returns the list **
return mediaList;
}
}
我是否在做任何错误或我必须做的其他一些服务器配置。它在本地服务器上运行良好,但部署后不起作用
白标错误页面 出现意外错误(类型=内部服务器错误,状态=500)。
白标错误页面到达...
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。