【学习打卡】第3天 Scrapy打造搜索引擎 Scrapy安装与配置、xpath基础语法、xpath提取元素、css选择器
2022/8/8 3:22:47
本文主要是介绍【学习打卡】第3天 Scrapy打造搜索引擎 Scrapy安装与配置、xpath基础语法、xpath提取元素、css选择器,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
课程名称:Scrapy打造搜索引擎(分布式爬虫)
课程章节:Scrapy爬取知名技术文章网站
主讲老师:bobby
课程内容:
今天学习的内容包括:Scrapy安装与配置、xpath基础语法、xpath提取元素、css选择器
课程收获:
Scrapy安装与配置:
1.scrapy安装出错?
https://www.lfd.uci.edu/~gohlke/pythonlibs/
进入该网址下载出错的包,然后手动本地安装
1.容易出错的包Lxml
2.易错twisted包
3.易错scrapy包
4.易错PyWin32包
2.如何本地安装
注:最后手动安装scrapy,因为scrapy依赖其他几个包
pip install -i https://pypi.douban.com/simple lxml-4.7.1-cp37-cp37m-win_amd64.whl
3.创建scrapy项目
1.scrapy创建项目命令:scrapy startproject ArticleSpider
2.PyCharm打开scrapy创建项目
3.创建自定义spider
命令:scrapy genspider jobbole(名称(随便)) news.cnblogs.com(需要爬取的网站子域名)
from scrapy.cmdline import execute import sys import os if __name__ == '__main__': """ 为什么使用__file__,而不使用sys.path.append("E:/Crawler_Project/ArticleSpider") 原因:如果当前项目不在该路径下面或者部署到服务器上面,则会找不到该路径报错 1.__file__ 当前文件路径——E:/Crawler_Project/ArticleSpider/main.py 2.os.path.dirname(__file__)——E:/Crawler_Project/ArticleSpider 3.os.path.abspath(__file__)——E:/Crawler_Project/ArticleSpider/main.py(原因:可能有些版本python使用file会输出main.py) """ sys.path.append(os.path.dirname(os.path.abspath(__file__))) # sys.path.append()将一个目录放至python搜索目录中 # os.path.dirname()获取文件路径的文件夹路径——E:/Crawler_Project/ArticleSpider execute(["scrapy", "crawl", "jobbole"])
xpath:
CSS选择器
这篇关于【学习打卡】第3天 Scrapy打造搜索引擎 Scrapy安装与配置、xpath基础语法、xpath提取元素、css选择器的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-07-18CSS中的伪类
- 2024-03-06css样式背景图怎么分开(css背景图片样式)-icode9专业技术文章分享
- 2024-03-06css线性样式(css中划线样式)-icode9专业技术文章分享
- 2024-03-06jq点击添加css样式(jq设置css样式)-icode9专业技术文章分享
- 2024-03-06流程样式css(css实现流程图)-icode9专业技术文章分享
- 2024-03-06css怎么调搜索键样式(css搜索框怎么调大小)-icode9专业技术文章分享
- 2024-03-06css层叠样式(Css层叠样式介绍)-icode9专业技术文章分享
- 2024-03-06css样式表有何特点(css样式表的使用方法有几种)-icode9专业技术文章分享
- 2024-03-06css的列表样式(css列表样式属性包括)-icode9专业技术文章分享
- 2024-03-06css3手机端样式(手机端css怎么写)-icode9专业技术文章分享