Scrapy爬虫框架项目实战入门教程

Scrapy爬虫框架项目实战涵盖了从环境搭建到基本使用，再到进阶功能和实战案例的全方位教程。文章详细介绍了Scrapy爬虫框架的基本架构、优势以及应用场景，并通过具体示例展示了如何创建爬虫项目和编写Spider。此外，还讲解了Scrapy中XPath和CSS选择器的使用、中间件与管道的设置，以及如何进行数据存储和持久化操作。

Scrapy是一个强大的、开源的爬虫框架，用于从网站抓取数据，它能够处理大量的数据抓取任务，适用于数据挖掘、信息采集等场景。Scrapy具有高度灵活性和可扩展性，能够高效地抓取、解析和处理数据。

示例：简单的Scrapy爬虫

以下是一个简单的Scrapy爬虫示例，用于抓取网页内容：

import scrapy

class SimpleSpider(scrapy.Spider):
    name = 'simple_spider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def parse(self, response):
        # 解析页面内容
        print(response.css('h1::text').get())

Scrapy框架由多个组件构成，主要包括：

• 引擎 (Scrapy Engine)：Scrapy的核心，负责控制整个爬虫的流程。
• 调度器 (Scheduler)：负责管理和调度请求。
• 下载器 (Downloader)：负责发送HTTP/HTTPS请求，并下载响应内容。
• 中间件 (Middleware)：提供扩展点，用于处理请求或响应。
• Spiders：用户自定义的爬虫，用于解析响应内容。
• 管道 (Item Pipeline)：用于处理从spider发出的数据。
• 请求 (Requests)：定义了HTTP请求的URL、参数、头信息等。
• 响应 (Responses)：包含下载的内容及元数据。
• 选择器 (Selectors)：用于解析HTML和XML文档。
• 项 (Item)：定义抓取数据的结构。

Scrapy的特点包括：

• 高并发性：采用异步模型，能够同时处理多个请求。
• 灵活的数据抓取：支持XPath和CSS选择器，可以轻松抓取所需数据。
• 扩展性强：内置中间件和管道，支持自定义扩展。
• 模块化：各个组件可单独配置，易于维护和扩展。

优势

• 高效：Scrapy利用异步处理和并行下载提高了抓取速度。
• 易用：使用Python编写，语法简洁，上手容易。
• 强大：提供丰富的内置功能，如XPath、CSS选择器等。
• 灵活：支持自定义中间件和管道，满足复杂需求。

应用场景

• 数据抓取：新闻网站、论坛、博客等。
• 信息收集：价格信息、产品详情、用户评论等。
• 数据清理：从HTML中提取有用信息。
• 搜索索引：为搜索引擎抓取网页内容。
• 网站监控：定期检查网站状态和更新。

Python是Scrapy的基础，确保已安装Python 3.6或更高版本。可以通过Python官网下载安装包或使用包管理器安装。以下是安装Python的命令示例：

# 在Linux或macOS上，使用包管理器安装Python
sudo apt-get update     # 更新软件包索引
sudo apt-get install python3.6  # 安装Python 3.6

# 在Windows上，下载Python安装包
# https://www.python.org/downloads/windows/

安装完成后，验证Python安装是否成功，打开命令行（Windows）或终端（macOS/Linux）并输入：

python --version

若输出当前的Python版本信息，表示安装成功。

设置Python环境变量

确保Python安装路径已添加到环境变量中，以便命令行或终端能够找到Python解释器。

安装Scrapy可以使用pip工具。在命令行或终端中，输入以下命令：

pip install scrapy

安装完成后，通过创建一个简单的Scrapy项目来验证安装是否成功：

scrapy startproject test_project
cd test_project
scrapy crawlspider -h

如果输出Scrapy的命令帮助信息，表示安装成功。

使用scrapy startproject命令创建一个新的Scrapy项目时，会自动生成一些目录和文件。结构如下：

test_project/
    scrapy.cfg              # Scrapy项目的配置文件
    test_project/
        __init__.py        # 空文件，用于Python包的初始化
        items.py           # 定义抓取数据的结构
        middlewares.py     # 定义中间件
        pipelines.py       # 定义数据处理管道
        settings.py        # 全局配置文件
        spiders/           # 存放爬虫文件
            __init__.py    # 空文件，用于Python包的初始化
            example_spider.py  # 示例爬虫文件

每个文件和目录都有其特定的用途，例如items.py定义了数据模型，settings.py提供了全局配置，spiders目录存放具体的爬虫。

示例：创建Scrapy项目

使用scrapy startproject命令创建一个新的Scrapy项目。例如，创建一个名为myproject的项目：

scrapy startproject myproject
cd myproject

这将生成一个基本的项目结构。

使用scrapy startproject命令创建一个新的Scrapy项目。例如创建一个名为myproject的项目：

scrapy startproject myproject
cd myproject

这将生成一个基本的项目结构。

编写爬虫需要在spiders目录下创建一个Python文件。例如创建一个myspider.py：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def parse(self, response):
        # 解析页面内容
        pass

在这个例子中，定义了一个名为myspider的爬虫，允许的域名是example.com，初始待抓取的URL是http://example.com/。parse方法定义了如何处理下载的响应内容。

示例：处理不同的响应

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        # 提取数据
        items = response.xpath('//div[@class="list"]/li/text()').getall()
        for item in items:
            yield {'item': item}

Scrapy提供了丰富的命令行工具来启动和管理爬虫。例如启动爬虫：

scrapy crawl myspider

scrapy crawlspider命令会根据myspider的定义，自动下载start_urls中的页面，并执行parse方法解析页面内容。

示例：查看爬虫输出

scrapy crawl myspider

执行上述命令后，可以看到命令行输出，显示爬虫抓取到的数据。

XPath和CSS选择器是Scrapy用于提取数据的关键工具。它们可以适配不同的HTML结构，灵活选择和提取数据。

示例：使用XPath提取数据

假设有一个简单的HTML页面，包含一个列表：

<div class="list">
    <li class="item">Item 1</li>
    <li class="item">Item 2</li>
    <li class="item">Item 3</li>
</div>

使用XPath提取每个列表项：

from scrapy import Selector

html_content = '''
<div class="list">
    <li class="item">Item 1</li>
    <li class="item">Item 2</li>
    <li class="item">Item 3</li>
</div>
'''

sel = Selector(text=html_content)
items = sel.xpath('//div[@class="list"]/li/text()').getall()
print(items)

示例：使用CSS选择器提取数据

同样的HTML页面，使用CSS选择器提取每个列表项：

from scrapy import Selector

html_content = '''
<div class="list">
    <li class="item">Item 1</li>
    <li class="item">Item 2</li>
    <li class="item">Item 3</li>
</div>
'''

sel = Selector(text=html_content)
items = sel.css('div.list li::text').getall()
print(items)

中间件和管道是Scrapy处理请求和响应的关键机制。

• 中间件：允许在请求发送和响应接收之间插入自定义处理逻辑。
• 管道：处理数据的抓取，进行数据清洗、验证、存储等操作。

示例：自定义中间件

在settings.py中启用中间件：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.MyCustomMiddleware': 543,
}

在myproject/middlewares.py中实现中间件：

class MyCustomMiddleware(object):
    def process_request(self, request, spider):
        print("Processing request:", request.url)
        return None

    def process_response(self, request, response, spider):
        print("Processing response:", response.url)
        return response

示例：自定义管道

在settings.py中启用管道：

ITEM_PIPELINES = {
    'myproject.pipelines.MyCustomPipeline': 300,
}

在myproject/pipelines.py中实现管道：

class MyCustomPipeline(object):
    def process_item(self, item, spider):
        print("Processing item:", item)
        return item

Scrapy允许自定义请求和响应的处理逻辑。例如，可以添加请求参数、设置请求头等。

示例：自定义请求

在Spider中自定义请求：

class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        # 解析页面内容
        pass

示例：处理响应

在Spider中处理响应：

class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def parse(self, response):
        # 提取数据
        items = response.xpath('//div[@class="list"]/li/text()').getall()
        for item in items:
            yield {'item': item}

假设抓取新闻网站的首页新闻标题和链接。

示例：定义项目结构

创建一个新的Scrapy项目：

scrapy startproject news_scraper
cd news_scraper

示例：定义Item

在items.py中定义新闻的结构：

import scrapy

class NewsItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()

示例：编写Spider

在spiders目录下创建爬虫news_spider.py：

import scrapy
from news_scraper.items import NewsItem

class NewsSpider(scrapy.Spider):
    name = 'news_spider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def parse(self, response):
        for title, link in zip(response.css('.title::text').getall(), response.css('.title::attr(href)').getall()):
            item = NewsItem(title=title, link=link)
            yield item

示例：配置Pipeline

在settings.py中启用管道：

ITEM_PIPELINES = {
    'news_scraper.pipelines.NewsPipeline': 300,
}

在pipelines.py中实现管道：

class NewsPipeline(object):
    def process_item(self, item, spider):
        print("Processing item:", item)
        return item

假设抓取电商网站的商品信息。

示例：定义项目结构

创建一个新的Scrapy项目：

scrapy startproject e_commerce_scraper
cd e_commerce_scraper

示例：定义Item

在items.py中定义商品的结构：

import scrapy

class ProductItem(scrapy.Item):
    name = scrapy.Field()
    price = scrapy.Field()
    description = scrapy.Field()

示例：编写Spider

在spiders目录下创建爬虫product_spider.py：

import scrapy
from e_commerce_scraper.items import ProductItem

class ProductSpider(scrapy.Spider):
    name = 'product_spider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/products']

    def parse(self, response):
        for product in response.css('.product'):
            item = ProductItem(
                name=product.css('.name::text').get(),
                price=product.css('.price::text').get(),
                description=product.css('.description::text').get(),
            )
            yield item

示例：配置Pipeline

在settings.py中启用管道：

ITEM_PIPELINES = {
    'e_commerce_scraper.pipelines.ProductPipeline': 300,
}

在pipelines.py中实现管道：

class ProductPipeline(object):
    def process_item(self, item, spider):
        print("Processing item:", item)
        return item

Scrapy不仅抓取数据，还可以将数据存储到数据库中，例如MySQL、MongoDB等。

示例：配置数据库

在settings.py中添加数据库连接配置：

ITEM_PIPELINES = {
    'e_commerce_scraper.pipelines.ProductPipeline': 300,
}

MYSQL_HOST = 'localhost'
MYSQL_USER = 'root'
MYSQL_PASSWORD = 'password'
MYSQL_DB = 'ecommerce'

示例：实现Pipeline存储到MySQL

在pipelines.py中实现Pipeline，将数据存储到MySQL：

import mysql.connector

class ProductPipeline(object):
    def open_spider(self, spider):
        self.connection = mysql.connector.connect(
            host='localhost',
            user='root',
            password='password',
            database='ecommerce'
        )
        self.cursor = self.connection.cursor()

    def close_spider(self, spider):
        self.cursor.close()
        self.connection.close()

    def process_item(self, item, spider):
        if 'name' in item:
            self.insert_product(item)
        return item

    def insert_product(self, item):
        query = "INSERT INTO products (name, price, description) VALUES (%s, %s, %s)"
        values = (item['name'], item['price'], item['description'])
        self.cursor.execute(query, values)
        self.connection.commit()

Scrapy爬虫在运行过程中可能会遇到各种问题，以下是一些常见错误及其解决方法：

常见错误

• 403 Forbidden：网站拒绝访问，可能需要设置User-Agent或使用代理。
• 404 Not Found：请求的URL不存在，检查URL是否正确。
• 503 Service Unavailable：服务器暂时无法提供服务，可能需要等待一段时间再试。
• XPath/CSS选择器无法匹配：检查选择器是否正确。
• 数据提取错误：检查解析逻辑是否正确，确保数据提取无误。

解决方法

• User-Agent和代理：设置合理的User-Agent，使用代理IP池来避免被封禁。
• 检查URL：确保URL正确无误。
• 等待和重试：使用Scrapy的重试机制处理暂时性错误。
• 调试选择器：使用Scrapy Shell调试XPath和CSS选择器。

示例：使用Scrapy Shell调试选择器

在命令行中启动Scrapy Shell：

scrapy shell "http://example.com/"

在Shell中调试选择器：

response.css('.title::text').getall()
response.xpath('//div[@class="list"]/li/text()').getall()

优化Scrapy爬虫性能可以从多个方面进行：

使用并发请求

Scrapy默认使用异步请求，可以调整CONCURRENT_REQUESTS和CONCURRENT_REQUESTS_PER_DOMAIN等设置来优化并发数量。

控制数据提取

减少不必要的数据提取，只提取需要的数据，减少解析时间。

使用缓存

对于静态内容，可以使用缓存来减少重复请求。

使用代理和User-Agent

使用代理IP池和随机User-Agent避免被封禁，提高抓取效率。

示例：调整并发请求设置

在settings.py中调整并发请求设置：

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8

部署Scrapy项目可以使用Docker进行环境隔离，同时可以使用定时任务来定期执行爬虫。

示例：使用Docker部署

编写Dockerfile：

FROM python:3.6-slim

WORKDIR /app

COPY requirements.txt requirements.txt
RUN pip install -r requirements.txt

COPY . .

CMD ["scrapy", "crawl", "myspider"]

构建并启动Docker容器：

docker build -t myproject .
docker run -it myproject

示例：使用定时任务

使用cron定时任务执行Scrapy命令：

编辑定时任务文件crontab -e：

# 每天凌晨1点执行爬虫
0 1 * * * /usr/bin/python3 /path/to/your/project/crawl.py

编写crawl.py脚本：

import os
import sys
import time

sys.path.append(os.path.dirname(os.path.abspath(__file__)))
os.environ.setdefault('SCRAPY_SETTINGS_MODULE', 'myproject.settings')

from scrapy import crawler, settings, util

def main():
    os.environ['SCRAPY_SETTINGS_MODULE'] = 'myproject.settings'
    crawler = crawler.CrawlerProcess()
    crawler.crawl('myspider')
    crawler.start()

if __name__ == '__main__':
    main()

以上是Scrapy爬虫框架的入门教程，涵盖了从环境搭建到进阶功能，再到实战案例和调试维护的各个方面。希望对您有所帮助。