python爬虫反爬
2021/9/16 9:04:57
本文主要是介绍python爬虫反爬,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
反爬原因
- 爬虫占总PV高,浪费了服务器的流量资源
- 资源获取太多导致公司造成损失
- 法律的灰色地带
种类
- 数据污染反爬,数据陷阱反爬,大文件url反爬,这些都需要累计熟练度来进行处理
解决方案:没有什么技巧,都是通过观察,如果提取不到想要数据就需要多尝试,这是一个熟练度的问题
- 数据加密反爬,猫眼电影评分数据加密
解决方案1:先右键检查元素
通过对比就可以发现他是有自己的一个字体库,只要把这个加密的数据进行一个一对一翻译,就可以拿到我们想要的数据
解决方案2:可以切换手机端查看数据
可以发现他的数据是没有加密的,可以直接获取
- 对此又出现了一套新的反爬方案,每次进入浏览器都会更新这个字体方案
- css数据偏移反爬
简单来说就是通过css来把数据分开标签来存储,增加数据解析的难度
解决方案:只是增加了我们的数据分析步骤
- 通过js生成数据渲染到浏览器进行反爬
通过post请求获取js的数据即可
- 通过图片进行反爬
把数据放入一张图片中不让直接获取数据
这篇关于python爬虫反爬的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-09-18初探Python股票自动化交易:入门指南
- 2024-09-18Python量化入门:轻松掌握量化分析基础与实战
- 2024-09-18Python量化交易:入门指南与实践
- 2024-09-18Python量化交易:入门指南与实战技巧
- 2024-09-14Python人工智能项目实战:从零开始的实践指南
- 2024-09-14探索Python人工智能资料:初学者的指南
- 2024-09-14Python人工智能资料:初学者的全面指南
- 2024-09-13Matplotlib入门:轻松绘制Python数据可视化图表
- 2024-09-13Python人工智能:初学者的入门指南
- 2024-09-13Python人工智能:轻松入门与实践