python 爬虫 urllib库使用
2021/10/7 1:10:55
本文主要是介绍python 爬虫 urllib库使用,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
urllib库使用
urllib.request.urlopen() 模拟浏览器向服务器发送请求 response 服务器返回的数据 response的数据类型是HttpResponse 字节‐‐>字符串 解码decode 字符串‐‐>字节 编码encode read() 字节形式读取二进制 扩展:rede(5)返回前几个字节 readline() 读取一行 readlines() 一行一行读取 直至结束 getcode() 获取状态码 geturl() 获取url getheaders() 获取headers urllib.request.urlretrieve() 请求网页 请求图片 请求视频
import urllib.request url = 'http://www.baidu.com' # 模拟浏览器向服务器发送请求 response = urllib.request.urlopen(url) # 一个类型和六个方法 # response是HTTPResponse的类型 # print(type(response)) # 按照一个字节一个字节的去读 # content = response.read() # print(content) # 返回多少个字节 # content = response.read(5) # print(content) # 读取一行 # content = response.readline() # print(content) # content = response.readlines() # print(content) # 返回状态码 如果是200了 那么就证明我们的逻辑没有错 # print(response.getcode()) # 返回的是url地址 # print(response.geturl()) # 获取是一个状态信息 print(response.getheaders()) # 一个类型 HTTPResponse # 六个方法 read readline readlines getcode geturl getheaders
这篇关于python 爬虫 urllib库使用的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-09-23Python中理解和使用树形结构的简单教程
- 2024-09-23Python 编程基础入门
- 2024-09-18初探Python股票自动化交易:入门指南
- 2024-09-18Python量化入门:轻松掌握量化分析基础与实战
- 2024-09-18Python量化交易:入门指南与实践
- 2024-09-18Python量化交易:入门指南与实战技巧
- 2024-09-14Python人工智能项目实战:从零开始的实践指南
- 2024-09-14探索Python人工智能资料:初学者的指南
- 2024-09-14Python人工智能资料:初学者的全面指南
- 2024-09-13Matplotlib入门:轻松绘制Python数据可视化图表