python爬虫------处理cookie的相关请求
2021/6/4 20:23:45
本文主要是介绍python爬虫------处理cookie的相关请求,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
最近在学习python爬虫,简单易上手,而且有成就感。爬虫不仅需要一个url地址,headers,而且Cookie也是必须的。下面我总结三种方法关于cookie的相关请求
不管第几种,我们都得先要登录进去想要爬虫的网页,来获取cookie(通过抓包方式)
第一种:将获取的cookie放到我们的headers里。Cookie首字母要大写,如下: ``` headers = {"User-Agent": "User-Agen值" ,"Cookie": "Cookie值" } ``` --- 第二种:将获取的cookie到一个cookie字典,通过get方法传递参数,如下: ``` cookie = "cookie值" cookie_dict = {i.split("=")[0]:i.split("=")[-1] for i in cookie.split("; ")} response = requests.get(url,headers=headers,cookies = cookie_dict) ``` 因为cookie的形式事 "..."="...",并且以; 分开,所以我们需要将他们拆分,具体步骤就是第二行代码 --- 第三种:用session方法,将cookie保留在session里
第三种:首先我们要获取它的action地址(一般网站action不会写出的,所以需要我们抓包,在抓包的时候,点击Network里的Preserve log,当我们点击登录按钮时,就会显示我们需要验证的action地址。在直接一步前,先把用户名和密码的name属性值获得)
1 2 3 4 5 6 7 session = requests.session() #获取session post_url = "是你进行相应的地址,就是你抓包获得地址" data = {"u":"对应你的的用户名","p":"对应你的密码"} #这个u我爬腾讯空间用户名的name值,y时密码的name值 session.post(post_url,headers=headers,data=data) #通过post请求会自动将服务器设置在本地的cookie保存在session url = "你要爬虫的地址" response = session.get(url) #会带上之前保存在session的cookie
以上就是处理cookie的方法,可以试试
这篇关于python爬虫------处理cookie的相关请求的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-08有遇到过吗?同样的规则 Excel 中 比Python 结果大
- 2024-03-30开始python成长之路
- 2024-03-29python optparse
- 2024-03-29python map 函数
- 2024-03-20invalid format specifier python
- 2024-03-18pool.map python
- 2024-03-18threads in python
- 2024-03-14python Ai 应用开发基础训练,字符串,字典,文件
- 2024-03-13id3 algorithm python
- 2024-03-13sum array elements python