python 爬虫基本
2021/7/21 22:07:42
本文主要是介绍python 爬虫基本,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
一、爬虫主要是实现对网页上自己喜欢的资源的爬取。
1、python自带的urllib
html = urllib.request.urlopen('网站').read()
2、第三方库requests
resp = requests.get('网站').text
如果返回的结果没有保存且没有报错,那么说明你访问的网站有反爬虫机制一般处理方法
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'} resp = requests.get('网址', headers=headers) resp_test = resp.text resp.close() // 关闭连接
二、解析方式
1、正则表达式
模块re
2、bs4
这篇关于python 爬虫基本的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-09-18初探Python股票自动化交易:入门指南
- 2024-09-18Python量化入门:轻松掌握量化分析基础与实战
- 2024-09-18Python量化交易:入门指南与实践
- 2024-09-18Python量化交易:入门指南与实战技巧
- 2024-09-14Python人工智能项目实战:从零开始的实践指南
- 2024-09-14探索Python人工智能资料:初学者的指南
- 2024-09-14Python人工智能资料:初学者的全面指南
- 2024-09-13Matplotlib入门:轻松绘制Python数据可视化图表
- 2024-09-13Python人工智能:初学者的入门指南
- 2024-09-13Python人工智能:轻松入门与实践