python 爬虫基本

本文主要是介绍python 爬虫基本，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

一、爬虫主要是实现对网页上自己喜欢的资源的爬取。

1、python自带的urllib

html = urllib.request.urlopen('网站').read()

2、第三方库requests

resp = requests.get('网站').text

如果返回的结果没有保存且没有报错，那么说明你访问的网站有反爬虫机制一般处理方法

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
resp = requests.get('网址', headers=headers)
resp_test = resp.text
resp.close()　　// 关闭连接

 二、解析方式

1、正则表达式

模块re

2、bs4

这篇关于python 爬虫基本的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！