全站数据爬虫CrawlSpider类

本文主要是介绍全站数据爬虫CrawlSpider类，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

一、目标网址

      http://wz.sun0769.com/political/index/politicsNewest

二、scrapy创建项目

　　scrapy startproject SunPro

       cd SunPro

       scrapy genspider -t  crawl sun www.xxx.com

三、相关参数解析

1. LinkExtractor：顾名思义，链接提取器。

LinkExtractor(
allow=r'Items/'，# 满足括号中“正则表达式”的值会被提取，如果为空，则全部匹配。
deny=xxx, # 满足正则表达式的则不会被提取。
restrict_xpaths=xxx, # 满足xpath表达式的值会被提取
restrict_css=xxx, # 满足css表达式的值会被提取
deny_domains=xxx, # 不会被提取的链接的domains。 　
)

• 作用：提取response中符合规则的链接。

2. Rule : 规则解析器。根据链接提取器中提取到的链接，根据指定规则提取解析器链接网页中的内容。

Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True)

• 参数介绍：

  参数1：指定链接提取器
  参数2：指定规则解析器解析数据的规则（回调函数）
  参数3：是否将链接提取器继续作用到链接提取器提取出的链接网页中。当callback为None,参数3的默认值为true。

3. rules=( ):指定不同规则解析器。一个Rule对象表示一种提取规则 四、爬虫代码  分析该页面不同列表页url: link=LinkExtractor(allow=r'id=\d+&page=\d+')

这篇关于全站数据爬虫CrawlSpider类的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！