本文主要是介绍scrapyd+gerapy之爬虫部署，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

一、Linux上安装scrapyd

1. linux下安装python3

可参考我之前博文：https://www.cnblogs.com/Liu928011/p/14864190.html

2. 安装scrapyd并配置软链接

• 安装scrapyd：pip3 install scrapyd
• 配置软链接：ln -s /usr/local/python3/bin/scrapyd /usr/bin/scrapyd

3. scrapyd默认是只能本机访问，我们需要修改配置，让其能够在外网访问。需要找到配置文件所在目录：

4. 进入scrapyd的目录

5. 修改default_scrapyd.conf文件

6.vi或vim进入文件修改bind为0.0.0.0

7. cd到主目录并创建scrapywork目录

8. 启动scrapyd

9. 访问成功

二、Linux上安装gerapy

ps:gerapy是基于scrapyd创建的，所以，必须保证scrapyd是启动状态

1.安装gerapy:  pip3 install gerapy -i https://pypi.tuna.tsinghua.edu.cn/simple

2.配置软链接:  ln -s /usr/local/python3/bin/gerapy  /usr/bin/gerapy

3. 配置gerapy

（1）创建一个目录

（2）进入目录，初始化gerapy

gerapy init

（3）迁移生成数据库目录

gerapy makemigrations

（4）进入gerapy目录

cd gerapy

（5）数据迁移

gerapy migrate

（6）创建超级管理员账号

gerapy createsuperuser

（7）启动服务

gerapy runserver 0.0.0.0:8000

4、访问

5、登录账号，创建主机（将项目发布到哪）

6、上传项目

 ...........

这篇关于scrapyd+gerapy之爬虫部署的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！