爬虫部署-2，基于Docker的Scrapy+Scrapyd+Scrapydweb部署

本文主要是介绍爬虫部署-2，基于Docker的Scrapy+Scrapyd+Scrapydweb部署，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

####

scrapy对接docker的思路，

###

涉及到四个部分，

Scrapy

Scrapyd

Scrapydweb

Docker

####

首先你思考一下，如果只有Scrapyd怎么docker部署？

1、把Scrapyd独立成为一个项目

1.1 编写Scrapyd的配置文件

新建一个scrapyd.conf文件，填写配置内容，默认使用官网上的就可以。

1.2 新建一个requirements

当前目录下有两个文件，一个是scrapyd的配置文件，另一个是pip下载模块的文件。

1.3 Dockerfile文件

FROM python:3.6
ADD . /code
WORKDIR /code
COPY ./scrapyd.conf /etc/scrapyd/
EXPOSE 6800
RUN pip3 install -r requirements.txt
CMD scrapyd

这个构建成为一个容器

然后启动容器，这个是可以直接访问到的，我们打开 http://localhost:6800 就能看到Scrapyd服务。

######

然后部署scrapydweb

2，把scrapydweb独立成为一个项目，

FROM python:3.6
ADD . /scrapydweb
WORKDIR /scrapydweb
COPY ./ .
EXPOSE 5000
RUN pip3 install -r requirements.txt
CMD scrapydweb

###

最后是容器编排的问题

docker-compose.yaml

前面两步只要能运行成功了，这一步就简单了，

####

#####

这篇关于爬虫部署-2，基于Docker的Scrapy+Scrapyd+Scrapydweb部署的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！