python 使用request模块的爬虫简单例子

本文主要是介绍python 使用request模块的爬虫简单例子，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

安装 requests 模块

以管理员身份使用命令行 (cmd) 进入到 python 安装目录下的 Scripts 文件夹

在命令行中输入 pip install requests ，等待安装完成即可

使用 requests 模块

import requests

url = "https://www.sogou.com/web?query=lizncu"

#在网页开发者工具中的 network 中找到 User-Agent
#浏览器可能会识别出爬虫从而拒绝访问
#加入 headers 使爬虫伪装的更像一些

headers = {
    "User-Agent" = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36 Edg/91.0.864.48"
}

resp = requests.get(url,headers = headers)    #根据网站选择get或者post

with open("C://Users//lixt6//Desktop//mysougou.html",mode="w",encoding="Utf-8") as f:
	f.write(resp.text)

用浏览器打开 mysougou.html 就可以啦

这篇关于python 使用request模块的爬虫简单例子的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！