<p style="margin-top:16px;color:rgb(34,34,34);font-family:'PingFang SC','Hiragino Sans GB','Microsoft YaHei','WenQuanYi Micro Hei','Helvetica Neue',Arial,sans-serif;background-color:rgb(255,255,255);">
<p style="margin-top:16px;color:rgb(34,255);">为啥要写这篇
文章，就是为了让你上『最强王者』！ <span style="font-weight:700;">Scrapy的
文章，好多好多，但是99%的
文章都是，写完爬虫就完事儿了 ，至于后来怎么用？去哪里用？都没有交带。我这里就交代一种，可以把你的小虫子部署到服务器上！但是怎么部署，<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">既然我们选择了
腾讯云，首先去
腾讯云的官网，
注册登录一下。<pre style="font-family:Consolas,Menlo,Courier,monospace;font-size:16px;white-space:
normal;color:rgb(34,34);background-color:rgb(255,255);">1https://cloud.tencent.com/<p style="margin-top:16px;color:rgb(34,255);">当你看到这篇
文章的时候，我不知道
腾讯云的优惠是怎样的，反正我当时，给我了7天的云服务器体验。我就准备拿这个试试手。
腾讯云界面长这个样子：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
登录之后，买完服务器之后，在云服务器界面，就会看到你的服务器实例了：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">界面上面有你服务器的ip地址，我们远程
登录，就需要知道服务器的公网ip地址：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">本地我用Mac的terminal的ssh
登录，输入指令就是：<pre style="font-family:Consolas,255);">1$ ssh root@1XX.XXX.XXX.XXX<p style="margin-top:16px;color:rgb(34,255);">然后输入密码，
登录成功，就会
显示如下界面：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);"><span style="font-weight:700;">Scrapy<p style="margin-top:16px;color:rgb(34,255);">写的。我们要用到的工具，有Scrapyd和Scrapyd-client。这两个是专门用来部署Scrapy爬虫的东西。OK，既然要部署爬虫，我们就来先看一下我们的爬虫长什么样子。<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">爬虫就是这样，我们部署的任务，目前有两个部分，远端的服务器和我们本地的电脑。我们要把本地电脑的爬虫部署到远端的服务器上，上文中我们提到了两个东西Scrayd和Scrapyd-client这两个东西，分别安装的位置就是远端服务器安Scrapyd，本地需要
上传的机器安装Scrapy-client。那么，我们本地机器安装scrapy-client。<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">OK，本地的配置到这里就结束了。我们接着之前的教程来
登录你远端的服务器，
登录成功之后，我们需要安装
python3.6，以及Scrapyd等东西。<p style="margin-top:16px;color:rgb(34,255);">你只需要按步骤输入一下命令行就可以，有些命令执行起来可能会时间比较长，请稍作等待<p style="margin-top:16px;color:rgb(34,255);">：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">安装好之后，运行命令<pre style="font-family:Consolas,255);">1# '/usr/local/
python3/bin/scrapyd'<p style="margin-top:16px;color:rgb(34,255);">会启动scrapyd，如下图:<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);"><span style="font-weight:700;">Scrapyd启动后，是可以通过访问6800端口查看到网页信息的。那么这里我们如果想通过
外网IP访问到网页，是失败的<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">接着，我们还需要给我们的云服务器配置一下安全组，要把6800的接口权限开通，这样才能够通过外网访问到服务器的网页。<p style="margin-top:16px;color:rgb(34,255);">
腾讯云的控制台
页面，左侧选择安全组，<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">选择新建按钮，我们这里选择常用的端口暴露，即第二个。<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">然后选择
修改规则，因为我们要把6800加进去。<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">选择我们刚才
添加的那个安全组，点击确定。<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">OK，<p style="margin-top:16px;color:rgb(34,255);"><span style="font-weight:700;">现在就是见证奇迹的时刻<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">由于我们还没有部署爬虫，所以，点击Jobs和Logs
链接进去之后，都是空
页面。<p style="margin-top:16px;color:rgb(34,255);">啊，我的快捷
标签大家就别关注了。看到这个
页面就说明你的Scrapyd在远端的服务器上面已经跑成功了。<p style="margin-top:16px;color:rgb(34,255);">
<pre style="font-family:Consolas,255);">1$ scrapyd-deploy TencentCloud -p DailyWeb<p style="margin-top:16px;color:rgb(34,255);">若是
在这期间有
错误，根据
错误提示来自行安装Python库就好。等到部署成功，会出现如下画面：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">看到我们的DailyWeb爬虫已经成功部署到了
腾讯云服务器上了。<p style="margin-top:16px;color:rgb(34,255);">我们可以通命令：<pre style="font-family:Consolas,255);">1curl
http://119.75.216.20:6800/listprojects.json<p style="margin-top:16px;color:rgb(34,255);">可以看到远端服务器上的爬虫:<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">OK，我们现在如果想要爬虫启动，那么只需要输入命令：<pre style="font-family:Consolas,255);">1$ curl
http://119.75.216.20:6800/schedule.json -d project=
-d spider=<p style="margin-top:16px;color:rgb(34,255);">我们这里输入的命令则是：<pre style="font-family:Consolas,255);">1$ curl http://119.75.216.20:6800/schedule.json -d project=DailyWeb -d spider=Caoliu<p style="margin-top:16px;color:rgb(34,255);">输入完，本地的terminal会呈现：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">我们在浏览器里，访问服务器的6800端口，就能够在网页的Jobs里面看到爬虫工作状态了：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">可以看到，爬虫的进度在Running里面，当爬虫爬完了，会在这个里面：<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">我们退到上级页面，从Log里面看，就发现有一条log文件。<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">23K的log文件，<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">OK，到此为止，如果你能跟着我的步骤一步一步做到这里，首先恭喜你，说明你很优秀，很有毅力，绝对是个编程的料，而且还有可能成为<p style="margin-top:16px;color:rgb(34,255);">Python大神<p style="margin-top:16px;color:rgb(34,255);">。<p style="margin-top:16px;color:rgb(34,255);">对于优秀的人而言，奖励是必须的，可以关注『皮克啪的铲屎官』，回复『服务器爬虫』，即可获得爬虫的源码，同时，可以多试试回复几次，说不定有惊喜呢。<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">
<p style="margin-top:16px;color:rgb(34,255);">谢谢阅读，欢迎大家关注我的博客或者公众号可领取全套资料：https://home.cnblogs.com/u/Python1234/ Python学习交流<p style="margin-top:16px;color:rgb(34,255);">欢迎加入我的千人交流学习答疑群：125240963版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
