关于python爬虫-request.get()方法的常用参数
2021/11/21 1:10:01
本文主要是介绍关于python爬虫-request.get()方法的常用参数,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
最近在写一些爬虫相关的小项目,了解了一下request模块的get()方法
这里记录一下,request.get的常用参数
1、设置proxy代理及user_agent两个参数
import requests from lxml import etree user_agent = {'User-agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"} # 测试https需要有,用于访问https的网站需要的 proxies={ 'http':'proxy.qq_5201351.com.cn:8080', 'https':'proxy.qq_5201351.com.cn:8080' } # 如果不需要代理,在get方法中可以不写 headers = user_agent,也可以使用如下方式定义为空字典{} # proxies={} response=requests.get("https://www.cnblogs.com/5201351",headers = user_agent,proxies=proxies) text=response.text
另:一般在得到response.text,如果需要使用xpath去解析,可以导入lxml模块的etree
尊重别人的劳动成果 转载请务必注明出处:https://www.cnblogs.com/5201351/p/15583042.html
这篇关于关于python爬虫-request.get()方法的常用参数的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-09-27使用python 将ETH账户的资产打散
- 2024-09-26Python编程基础
- 2024-09-2610 种方法写出更好的 Python 代码
- 2024-09-25Python编程基础详解
- 2024-09-25Python编程入门教程
- 2024-09-25从零开始使用Python构建LLaMA 3
- 2024-09-23Python中理解和使用树形结构的简单教程
- 2024-09-23Python 编程基础入门
- 2024-09-18初探Python股票自动化交易:入门指南
- 2024-09-18Python量化入门:轻松掌握量化分析基础与实战