python 爬虫基本

2021/7/21 22:07:42

本文主要是介绍python 爬虫基本,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

一、爬虫主要是实现对网页上自己喜欢的资源的爬取。

1、python自带的urllib

html = urllib.request.urlopen('网站').read()

2、第三方库requests

resp = requests.get('网站').text

如果返回的结果没有保存且没有报错,那么说明你访问的网站有反爬虫机制一般处理方法

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
resp = requests.get('网址', headers=headers)
resp_test = resp.text
resp.close()  // 关闭连接

 二、解析方式

1、正则表达式

模块re

2、bs4



这篇关于python 爬虫基本的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程