微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

scrapy-redis+selenium+webdriver 部署到linux上

背景:在使用selenium时,在本地使用windows,都会有一个图形界面,但是到了生产环境linux上没有了图形界面怎么部署呢?

解决方案:

1.安装图形化界面,不推荐,因为安装图形化界面会占用很多内存,而且在linux上搞个图形界面,很不爽

2.使用虚拟化图形界面,就跟你的虚拟机一样,也是一套系统,不过不会弹出个界面,推荐使用

系统配置:

linux:CentOS Linux release 7.6.1810 (Core) 

firefox:Mozilla Firefox 65.0.1

selenium: 3.141.0

pyvirtualdisplay:  0.2.1  

geckodriver.exe: 0.23

xvfb:xorg-x11-server-Xvfb-1.20.1-5.2.el7_6.x86_64

解释:

1.查看linux系统版本命令:cat /etc/redhat-release

2.安装xvfb: yum install xorg-x11-server-Xvfb  gtk3

3.安装geckodriver:下载地址

  I.制作软链接: ln -s /usr/bin/geckodriver /你的geckodriver目录

4.linux上安装firefox:下载地址

  I.查看linux系统版本:linux命令行输入: getconf LONG_BIT,如果是64为就下载64位linux

  II.上传到linux,解压:tar -xjf Firefox-latest-x86_64.tar.bz2

  III.进入firefox目录,命令行输入firefox,出现Error: GDK_BACKEND does not match available displays,说明安装成功

5.安装pyvirtualdisplay:pip3 install pyvirtualdisplay  (我是用的是python3,这是做的软链接是pip3)

------------------------------------------------------------姑娘滑溜溜的马甲线--------------------------------------------------------------------------

插播一条新闻:今天看到一则消息,博客园技术大佬vamei因为抑郁症去世,之前看过他的很多博客,简洁幽默,令我心向往之,在此纪念,生而为人,当简单快乐,其他的都要排在第二位

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐