Python爬虫之PySpider框架
2021/7/5 22:18:53
本文主要是介绍Python爬虫之PySpider框架,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
概述
pyspider 是一个支持任务监控、项目管理、多种数据库,具有 WebUI 的爬虫框架,它采用 Python 语言编写,分布式架构。详细特性如下:
- 拥有 Web 脚本编辑界面,任务监控器,项目管理器和结构查看器;
- 数据库支持 MySQL、MongoDB、Redis、SQLite、Elasticsearch、PostgreSQL、SQLAlchemy;
- 队列服务支持 RabbitMQ、Beanstalk、Redis、Kombu;
- 支持抓取 JavaScript 的页面;
- 组件可替换,支持单机、分布式部署,支持 Docker 部署;
- 强大的调度控制,支持超时重爬及优先级设置;
- 支持 Python2&3。
PySpider 主要分为 Scheduler(调度器)
、 Fetcher(抓取器)
、 Processer(处理器)
三个部分,整个爬取过程受到 Monitor(监控器)
的监控,抓取的结果被 Result Worker(结果处理器)
处理。
基本流程为:Scheduler 发起任务调度,Fetcher 抓取网页内容,Processer 解析网页内容,再将新生成的 Request 发给 Scheduler 进行调度,将生成的提取结果输出保存。
PySpider与Scrapy对比
PySpider | Scrapy | |
---|---|---|
可视化 | 拥有 WebUI,爬虫的编写、调试可在 WebUI 中进行 | 采用代码、命令行操作,实现可视化需对接 Portia |
JS渲染爬取 | 支持使用 PhantomJS 对 JavaScript 渲染页面的采集 | 需对接 Scrapy-Splash 组件 |
解析 | 内置了 PyQuery 作为选择器 | 对接了 XPath、CSS 选择器、正则匹配 |
扩展 | 扩展性弱 | 模块之间耦合度低,扩展性强,如:对接 Middleware、 Pipeline 等组件实现更强功能 |
总的来说,PySpider 更加便捷,Scrapy 扩展性更强,如果要快速实现爬取优选 PySpider,如果爬取规模较大、反爬机制较强,优选 Scrapy。
安装/运行
安装
PySpider目前已不再维护,仅支持到python3.6,所以安装3.6以上的版本会出现报错问题,可按以下方式进行安装:
安装wheel(已安装可跳过)
conda install wheel
安装pycurl(已安装可跳过)
conda install pycurl
安装pyspider
pip install pyspider
安装phantomjs
解压后将bin目录下的phantomjs.exe复制到python.exe文件所在目录
找到../Python/Lib/python3.7/site-packages/pyspider/run.py
,../Python/Lib/site-packages/pyspider/fetcher/tornado_fetcher.py
,../Python/Lib/site-packages/pyspider/webui/app.py
,将文件里面的async换一个名字(非关键字)就可,例如asynch
找到 ../Python/Lib/site-packages/pyspider/webui/webdav.py
文件,将'domaincontroller': NeedAuthController(app),
修改成:
'http_authenticator':{ 'HTTPAuthenticator':NeedAuthController(app) },
降低wsgidav版本
python -m pip uninstall wsgidav # 卸载
python -m pip install werkzeug==1.0.0 #安装1.0.0版本
运行
cmd窗口中输入pyspider或者pyspider all启动全部
浏览器访问 http://localhost:5000/ ,能访问成功则表明运行成功
PySpider架构
项目开发
创建项目
Create-->Project Name-->Start URL(可省略到代码中再写)-->Create
调试代码
源码解读
#!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2021-07-04 20:31:18 # Project: tripadvisor from pyspider.libs.base_handler import * class Handler(BaseHandler): crawl_config = { # 全局参数设置,请求头和cookies可以在这里设置(传入关键字及对应的参数即可) } def __init__(self): # 初始配置 self.base_url = 'https://www.tripadvisor.cn/Attractions-g298555-Activities?subcategory=49&subtype=0' @every(minutes=24 * 60) # 装饰器,@every设置多久爬取一次(24*60为一天一次) def on_start(self): # 开始爬取的入口 ''' crawl和requests有相同的功能 ,可以支持 get(默认) 和 post,常用的参数有: data: 想要的提交数据 callback: 执行完crawl后要调用的回调函数 method: 指定访问方法 files: 上传文件,{'key': ('file.name': 'content')} headers: 请求头,类型dict cookies: 请求的Cookies,类型dict timeout: 请求内容里最大等待秒数.默认值:120 connect_timeout: 指定请求时链接超时时间,单位秒,默认值:20 proxy: 设置代理服务器,暂时只支持http代理 ''' self.crawl(self.base_url, callback=self.index_page,fetch_type='js') # fetch_type='js' 爬取异步数据 # index_page和detail_page只是初始脚本中的回调函数,除了on_start,其他的函数名可以自定 ''' @config: age: 设置任务的有效期限,在这个期限内目标爬取的网页被认为不会进行修改,以秒为单位 priority: 设定任务优先级,越大代表有越优先执行 auto\_recrawl: 设置是否每到age时间重新爬取一次,默认值是:False priority: 这个参数用来指定任务的优先级,数值越大越先被执行,默认值为 0 retries: 任务执行失败后重试次数,默认值是 3 itag: 任务标记值,此标记会在抓取时对比,如果这个值发生改变,不管有效期有没有到都会重新抓取新内容.多数用来动态判断内容 是否修改或强制重爬,默认值是 None ''' @config(age=10 * 24 * 60 * 60) # 有效期限为十天,十天内的数据不会被重复爬取 def index_page(self, response): for each in response.doc('a[href^="http"]').items(): self.crawl(each.attr.href, callback=self.detail_page,fetch_type='js') @config(priority=2) def detail_page(self, response): return { ''' response: crawl: 返回的对象是 response 对象 response.url: 返回最后的URL地址 response.text: 请求响应的文本格式内容(如果Response.encoding是None或chardet模块可用, 响应内容会自动被 解析为指定的编码) response.doc: 本方法会调用PyQuery库用返回的内容生成一个PyQuery对象以方便使用 response.json: 本方法会调用JSON相关库来解析返回的内容 response.status_code: 返回响应的状态码 response.headers: 请求响应的头信息,dict格式 response.cookies: 响应的cookies response.time: 抓取使用的时间 ''' "url": response.url, "title": response.doc('title').text(), # text() 返回text文本 "html": response.doc('title').html() # html() 返回网页,包含标签 }
案例
猫途鹰
目标网站:猫途鹰(Tripadvisor)网站
ing
微博登录(与selenium结合)
汽车之家
百度热榜
参考链接
视频:
程序媛计划直播——python爬虫框架Pyspider
博客:
Python 爬虫(七):pyspider 使用
PySpider官方英文文档
PySpider非官方中文文档
pyspider安装详细指南
Python爬虫之pyspider框架
这篇关于Python爬虫之PySpider框架的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-24Python编程入门指南
- 2024-12-24Python编程基础入门
- 2024-12-24Python编程基础:变量与数据类型
- 2024-12-23使用python部署一个usdt合约,部署自己的usdt稳定币
- 2024-12-20Python编程入门指南
- 2024-12-20Python编程基础与进阶
- 2024-12-19Python基础编程教程
- 2024-12-19python 文件的后缀名是什么 怎么运行一个python文件?-icode9专业技术文章分享
- 2024-12-19使用python 把docx转为pdf文件有哪些方法?-icode9专业技术文章分享
- 2024-12-19python怎么更换换pip的源镜像?-icode9专业技术文章分享