【python】read_html()处理网页中的表格数据
2021/7/20 20:35:53
本文主要是介绍【python】read_html()处理网页中的表格数据,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
pandas模块的read_html()函数,从网页中识别<table>读取表格类数据。避免了写xpath等表达式的麻烦,可把筛选得到的表格数据通过to_csv或to_Excel直接存为CSV文件或Excel文件。
注意:read_html()返回一个DataFrame类型的列表,每一项代表网页中的一个<table>,可用切片方式指定提取第几个表格。
参数io
指定识别的对象,可为网址、本地HTML、request得到的响应的文本内容。
参数match
传入正则表达式,返回符合match的内容,可理解为内容的筛选。
参数flavor
可省。指定网页源代码的解析器,常用的lxml解析器(也是默认解析器)。
参数header
可省。指定一行或多行作为表格的列标签,默认None。若把多行作为列标签,则需要以列表形式给出,如:把0~2行作为行列标签,则列序号从第4行即序号3的行开始排列。
参数index_col
可省。指定表格中的任一列作为行标签,默认None。
参数encoding
可省。指定解码的字符集,默认用网页源码指定的字符集。
import pandas as pda # 从网站的第一个表格中筛选出带有"高匿名"的项 # 指定用第0列作为行标签,第1和2行作为列标签,用UTF-8解码 data = pd.read_html('http://www.kuaidaili.com/free/', match='高匿名', index_col=0, header=[0,1], encoding='UTF-8')[0] # 数据存为CSV文件 data.to_csv('高匿名代理ip.csv')
这篇关于【python】read_html()处理网页中的表格数据的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-24Python编程基础详解
- 2024-11-21Python编程基础教程
- 2024-11-20Python编程基础与实践
- 2024-11-20Python编程基础与高级应用
- 2024-11-19Python 基础编程教程
- 2024-11-19Python基础入门教程
- 2024-11-17在FastAPI项目中添加一个生产级别的数据库——本地环境搭建指南
- 2024-11-16`PyMuPDF4LLM`:提取PDF数据的神器
- 2024-11-16四种数据科学Web界面框架快速对比:Rio、Reflex、Streamlit和Plotly Dash
- 2024-11-14获取参数学习:Python编程入门教程