学习python爬取论文

转载https://www.cnblogs.com/Zzwena/p/9768881.html

• 爬虫使用
  用pycharm爬取网站的论文列表。
  先在CVPR2018官网上找到论文列表检查元素，发现每篇论文都有一个超链接
  例如：content_cvpr_2018/html/Misra_Learning_by_Asking_CVPR_2018_paper.html
  点开论文后，可以看到网址：http://openaccess.thecvf.com/content_cvpr_2018/html/Misra_Learning_by_Asking_CVPR_2018_paper.html
  只是在前面加了：http://openaccess.thecvf.com/
  所以我们只需要爬去每篇论文的超链接再加上头部分就是每篇论文的网址。
  打开每篇论文的链接，在每篇论文中右键标题和摘要，发现都有一个div id
  标题：papertitle
  

  

  
  摘要：abstract
  

  

  
  中间部分就是相应的内容，我们爬去到txt文件中就行了。

转载https://www.cnblogs.com/Zzwena/p/9768881.html