Scrapyd项目实战：新手入门教程

本文详细介绍了Scrapy框架的基础知识和Scrapyd服务的使用方法，包括Scrapy项目的创建、打包以及通过Scrapyd进行部署和管理的全过程。通过实际操作示例，读者可以了解如何使用Scrapyd启动和监控爬虫任务。本文还涵盖了Scrapyd常见问题的解决方法，帮助读者在实际应用中遇到问题时能够快速解决。Scrapyd项目实战涵盖了从项目创建到部署的全部流程，适合希望深入了解Scrapyd项目的读者。

Scrapy 是一个用于爬取网站数据、提取结构化信息的强大框架。它使用Python编写，遵循MIT许可证，是一个开源项目。Scrapy框架采用了异步模型和Twisted网络库，因此处理大量并发请求时效率非常高。Scrapy框架具有模块化、可扩展性强的特点，使得它非常适合复杂的数据抓取任务。

Scrapy框架主要包括以下组件：

1. Spider：定义了爬虫的逻辑，负责从初始URL开始抓取页面，并解析抓取的数据。
2. Item：定义了数据的结构，类似于一个数据模型。
3. Selector：Scrapy使用内置的XPath和CSS选择器来解析页面内容。
4. Item Pipeline：处理提取的数据，例如清洗、验证、存储等。
5. Downloader：负责向网站发送请求和下载响应。
6. Scheduler：管理待抓取的URL队列。
7. Middleware：允许自定义处理请求和响应的流程。

Scrapy框架的安装

安装Scrapy框架可以通过pip工具，命令如下：

pip install scrapy

安装完成后，可以使用scrapy命令验证安装是否成功：

scrapy --version

Scrapyd 是一个用于部署和管理Scrapy爬虫的服务。它允许用户通过HTTP API或命令行界面远程管理Scrapy项目，包括部署新版本、启动爬虫、停止爬虫等。Scrapyd支持多项目和多爬虫的管理，并且能够处理并发任务。

Scrapyd的主要特点

1. 分布式部署：可以在多台机器上部署Scrapy项目，实现分布式爬取。
2. 版本管理：支持项目版本的更新和回退。
3. 任务管理：可以启动、停止和监控爬取任务。
4. HTTP API：提供RESTful API接口，便于与Scrapy爬虫进行交互。
5. 命令行工具：提供命令行接口，方便用户操作。

创建Scrapy项目可以通过scrapy startproject命令来实现。假设我们想要创建一个名为example的项目，执行以下命令：

scrapy startproject example

这将创建一个以example命名的文件夹，并在其中生成一系列必要的文件和目录结构。典型的Scrapy项目结构如下：

example/
├── example/
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders/
│       ├── __init__.py
│       └── （其他Spider文件）
├── scrapy.cfg
└── requirements.txt

项目文件说明

• __init__.py：定义了项目的基本结构。
• items.py：定义了数据模型（Item）。
• middlewares.py：定义了中间件，用于自定义请求和响应处理。
• pipelines.py：定义了数据处理管道，用于清洗、存储数据。
• settings.py：包含了项目的配置信息。
• spiders：包含了所有Spider文件。
• scrapy.cfg：Scrapy项目的配置文件。
• requirements.txt：项目依赖的Python库列表。

项目配置文件示例

• settings.py：包含了Scrapy项目的配置信息，如下载超时时间、下载延迟等。

  ITEM_PIPELINES = {
  'example.pipelines.ExamplePipeline': 300,
  }
  
  CONCURRENT_REQUESTS = 32
  
  DOWNLOAD_DELAY = 1

• items.py：定义了数据模型（Item），例如：

  class ExampleItem(scrapy.Item):
  title = scrapy.Field()
  content = scrapy.Field()

• pipelines.py：定义了数据处理管道，例如：

  class ExamplePipeline(object):
  def process_item(self, item, spider):
      # 数据处理逻辑
      return item

在Scrapy项目中，Spider是主要的工作单元，负责定义爬取的数据和结构化数据的提取。下面我们将创建一个简单的Spider，用于抓取网站信息。

创建一个新的Spider

首先，在example/spiders目录下新建一个Python文件，命名example_spider.py。接着在文件中定义一个Spider类：

import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com']

    def parse(self, response):
        # 解析抓取的数据
        for item in response.css('div.example-item'):
            yield {
                'title': item.css('h1::text').get(),
                'content': item.css('p::text').get()
            }

解析示例

上述代码中，parse方法定义了如何处理抓取的响应。在这个例子中，我们使用CSS选择器来提取页面中的div标签及其子标签中的文本。解析生成的数据以字典形式返回，包含了标题和内容。

为了能够通过Scrapyd远程部署项目，我们需要将Scrapy项目打包成一个egg文件。egg文件是一种Python分发格式，类似于wheel或tar.gz包。Scrapy项目可以通过pip工具将项目打包为egg文件。

安装setuptools和wheel

首先，确保安装了setuptools和wheel：

pip install setuptools wheel

打包项目为egg文件

在Scrapy项目的根目录下，执行以下命令来创建一个新的egg文件：

pip install -r requirements.txt
pip install -e .
cd dist
python3 ../setup.py bdist_egg

这将会创建一个位于dist目录下的.egg文件，例如example-1.0-py3.8.egg。

打包后的egg文件中通常包含如下内容：

example-1.0-py3.8.egg/
├── example/
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders/
│       ├── __init__.py
│       └── example_spider.py
├── scrapy.cfg
└── requirements.txt

Scrapyd可以通过pip安装，命令如下：

pip install scrapyd

Scrapyd服务可以通过一个简单的Web服务来启动，它支持HTTP API用于远程管理Scrapy项目。

安装Scrapy服务

为了确保Scrapy服务能够运行，需要安装scrapy和scrapyd：

pip install scrapy scrapyd

启动Scrapyd服务可以通过命令行界面完成。服务通常在8000端口运行，可以通过命令行脚本启动：

scrapyd

配置Scrapyd服务

Scrapyd可以通过命令行参数进行配置，例如指定监听的IP地址和端口：

scrapyd -p 8000

在Scrapyd服务启动后，可以通过HTTP API或命令行工具将Scrapy项目部署到Scrapyd服务器上。这里我们将使用命令行工具进行部署：

scrapyd deploy <host> <port> <project> <version>

其中：

• <host>：Scrapyd服务的IP地址或主机名。
• <port>：Scrapyd服务监听的端口号（默认8000）。
• <project>：Scrapy项目名称。
• <version>：版本号。

示例：

scrapyd deploy 127.0.0.1:8000 example 1.0

部署成功后，可以通过请求Scrapyd的listprojects接口来验证项目是否已成功部署：

GET /listprojects

部署成功后确认信息

部署成功后，可以通过Scrapyd的命令行工具或API接口查看已部署的项目列表：

scrapyd list 127.0.0.1:8000

输出示例：

{
    "name": "example",
    "version": "1.0",
    "spiders": ["example"]
}

通过settings.py配置文件，可以进一步配置Scrapy项目，例如设置请求超时时间、下载延迟等：

DOWNLOAD_TIMEOUT = 60
DOWNLOAD_DELAY = 1

这些配置项可以帮助优化爬取任务的执行效率和稳定性。

通过Scrapyd命令行工具，可以列出所有部署到Scrapyd服务上的Spider。命令如下：

scrapyd list <host> <port>

示例：

scrapyd list 127.0.0.1:8000

输出示例

{
    "name": "example",
    "version": "1.0",
    "spiders": ["example"]
}

启动一个Spider进行爬取任务，可以使用以下命令：

scrapyd start <host> <port> <project> <spider> <job> [args]

其中：

• <host>：Scrapyd服务的IP地址或主机名。
• <port>：Scrapyd服务监听的端口号（默认8000）。
• <project>：Scrapy项目名称。
• <spider>：要启动的Spider名称。
• <job>：任务ID（可以是数字或字符串）。
• [args]：可选的启动参数。

示例：

scrapyd start 127.0.0.1:8000 example example 1

输出示例

{
    "status": "ok",
    "jobid": "123456789"
}

监控爬取任务的状态，可以使用scrapyd listjobs命令：

scrapyd listjobs <host> <port> <project>

示例：

scrapyd listjobs 127.0.0.1:8000 example

输出示例

{
    "pending": [],
    "running": ["123456789"],
    "finished": []
}

Scrapyd提供了多个HTTP API接口，用于远程管理Scrapy项目。这些接口可以通过HTTP GET或POST方法调用。

API接口列表

• listprojects: 列出所有部署的项目。
• listversions: 列出特定项目的所有版本。
• listspiders: 列出特定项目中的所有Spider。
• schedule: 启动指定Spider的爬取任务。
• cancel: 取消指定任务。
• listjobs: 查看项目的任务状态。
• delproject: 删除指定的项目。
• delversion: 删除特定项目的指定版本。
• daemonstatus: 查看Scrapyd服务的状态。

示例请求

• 列出所有项目：

GET /listprojects

• 启动爬取任务：

POST /schedule

使用Python脚本调用Scrapyd API可以通过requests库实现。下面是一个简单的例子，展示了如何使用Python调用Scrapyd的listprojects接口：

安装requests库

首先，确保安装了requests库：

pip install requests

Python脚本调用Scrapyd API

import requests

url = "http://127.0.0.1:8000/listprojects"
response = requests.get(url)
print(response.json())

输出示例

{
    "projects": ["example"]
}

通过Scrapyd API，可以监控指定任务的进度。监控任务状态可以通过调用listjobs接口实现。

Python脚本监控任务进度

import time
import requests

url = "http://127.0.0.1:8000/listjobs"

while True:
    response = requests.get(url)
    jobs = response.json()['running']
    if jobs:
        print(f"Running jobs: {jobs}")
    else:
        print("No running jobs.")
    time.sleep(5)

输出示例

{
    "pending": [],
    "running": ["123456789"],
    "finished": []
}

部署项目失败可能是因为项目文件不完整、依赖库缺失或配置错误。

解决方案

1. 确保项目中包含了必要的文件，例如items.py、settings.py等。
2. 检查requirements.txt文件，确保所有依赖库都已安装。
3. 检查settings.py配置文件，确保没有语法错误或配置错误。

示例代码

• 完整的items.py示例：

  class ExampleItem(scrapy.Item):
  title = scrapy.Field()
  content = scrapy.Field()

• 完整的settings.py示例：

  ITEM_PIPELINES = {
  'example.pipelines.ExamplePipeline': 300,
  }
  
  CONCURRENT_REQUESTS = 32
  
  DOWNLOAD_DELAY = 1

任务执行超时通常是因为爬取任务耗时过长或者网络问题导致。

解决方案

1. 调整settings.py中的CONCURRENT_REQUESTS和DOWNLOAD_DELAY参数，控制并发请求数量和下载延迟。
2. 检查网络连接，确保网络稳定。
3. 可以增加Scrapyd服务的超时时间配置。

示例代码

• 调整settings.py中的超时配置：

  DOWNLOAD_TIMEOUT = 60
  DOWNLOAD_DELAY = 1

服务重启后，之前部署的项目可能需要重新部署。

解决方案

1. 重启Scrapyd服务：

scrapyd stop
scrapyd start

1. 重新部署项目：

scrapyd deploy <host> <port> <project> <version>

通过以上步骤，可以解决Scrapyd服务重启后项目无法继续运行的问题。