爬虫部署-2，基于Docker的Scrapy+Scrapyd+Scrapydweb部署

####

scrapy对接docker的思路，

###

涉及到四个部分，

Scrapy

Scrapyd

Scrapydweb

Docker

####

首先你思考一下，如果只有Scrapyd怎么docker部署？

1、把Scrapyd独立成为一个项目

1.1 编写Scrapyd的配置文件

新建一个scrapyd.conf文件，填写配置内容，默认使用官网上的就可以。

1.2 新建一个requirements

当前目录下有两个文件，一个是scrapyd的配置文件，另一个是pip下载模块的文件。

1.3 Dockerfile文件

FROM python:3.6
ADD . /code
workdir /code
copY ./scrapyd.conf /etc/scrapyd/
EXPOSE 6800
RUN pip3 install -r requirements.txt
CMD scrapyd

这个构建成为一个容器

然后启动容器，这个是可以直接访问到的，我们打开 http://localhost:6800 就能看到Scrapyd服务。

######

然后部署scrapydweb

2，把scrapydweb独立成为一个项目，

FROM python:3.6
ADD . /scrapydweb
workdir /scrapydweb
copY ./ .
EXPOSE 5000
RUN pip3 install -r requirements.txt
CMD scrapydweb

 

###

最后是容器编排的问题

docker-compose.yaml

前面两步只要能运行成功了，这一步就简单了，

####

 

 

 

 

 

 

 

 

 

 

#####