爬虫部署-2,基于Docker的Scrapy+Scrapyd+Scrapydweb部署
2021/10/11 6:14:17
本文主要是介绍爬虫部署-2,基于Docker的Scrapy+Scrapyd+Scrapydweb部署,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
####
scrapy对接docker的思路,
###
涉及到四个部分,
Scrapy
Scrapyd
Scrapydweb
Docker
####
首先你思考一下,如果只有Scrapyd怎么docker部署?
1、把Scrapyd独立成为一个项目
1.1 编写Scrapyd的配置文件
新建一个scrapyd.conf文件,填写配置内容,默认使用官网上的就可以。
1.2 新建一个requirements
当前目录下有两个文件,一个是scrapyd的配置文件,另一个是pip下载模块的文件。
1.3 Dockerfile文件
FROM python:3.6 ADD . /code WORKDIR /code COPY ./scrapyd.conf /etc/scrapyd/ EXPOSE 6800 RUN pip3 install -r requirements.txt CMD scrapyd
这个构建成为一个容器
然后启动容器,这个是可以直接访问到的,我们打开 http://localhost:6800 就能看到Scrapyd服务。
######
然后部署scrapydweb
2,把scrapydweb独立成为一个项目,
FROM python:3.6 ADD . /scrapydweb WORKDIR /scrapydweb COPY ./ . EXPOSE 5000 RUN pip3 install -r requirements.txt CMD scrapydweb
###
最后是容器编排的问题
docker-compose.yaml
前面两步只要能运行成功了,这一步就简单了,
####
#####
这篇关于爬虫部署-2,基于Docker的Scrapy+Scrapyd+Scrapydweb部署的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-20Docker部署资料:新手入门教程
- 2024-12-19Docker部署实战:新手入门教程
- 2024-12-19Docker部署教程:新手入门详解
- 2024-12-09云原生周刊:在Docker上部署大语言模型
- 2024-12-05Docker教程:新手快速入门指南
- 2024-12-05Docker项目实战:新手教程与案例解析
- 2024-12-04Docker入门教程:快速掌握基础操作
- 2024-12-04Docker入门教程:轻松搭建你的第一个容器化应用
- 2024-12-04Docker-Compose 入门教程:全面解析基础命令与应用场景
- 2024-12-04Docker入门:新手必读的简单教程