python0基础学数据分析-数据清洗
2021/7/18 1:06:25
本文主要是介绍python0基础学数据分析-数据清洗,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
重点:
1.缺失值空值的处理
1.1空值的查看
函数: df[df.Cabin.isna()]
info()
isnull().sum()
1.2空值处理
1.2.1空值的删除 函数:dropna()
1.2.2空值的替换 函数:df[df['Age']==None]=0
df[df['Age'].isnull()] = 0
df[df['Age'] == np.nan] = 0
df[df.Age.isna()]
注意:空缺值的数据类型为float64所以用None一般索引不到,比较的时候最好用np.nan
2.重复值的处理
pandas.DataFrame.duplicated — pandas 1.3.0 documentation (pydata.org)
pandas || df.dropna() 缺失值删除_一个还在挣扎的码农的博客-CSDN博客
2.1查看
函数:df[df.duplicated()]
2.2删除
df = df.drop_duplicates()
df.head()
2.3 填充 pandas.DataFrame.fillna — pandas 1.3.0 documentation (pydata.org)
fill函数
bfill pandas.DataFrame.bfill — pandas 1.3.0 documentation (pydata.org)
ffill & meanfill
2.3 特征观察与处理
分箱函数 cut
RFM模型可用??
1)将连续变量Age平均分箱成5个年龄段,并分别用类别变量12345表示
df['AgeBand'] = pd.cut(df['Age'], 5,labels = [1,2,3,4,5])
2)指定区间分箱:将连续变量Age划分为(0,5] (5,15] (15,30] (30,50] (50,80]五个年龄段,并分别用类别变量12345表示
df['AgeBand'] = pd.cut(df['Age'],[0,5,15,30,50,80],labels = [1,2,3,4,5])
3)百分比分箱:将连续变量Age按10% 30% 50 70% 90%五个年龄段,并用分类变量12345表示
df['AgeBand'] = pd.qcut(df['Age'],[0,0.1,0.3,0.5,0.7,0.9],labels = [1,2,3,4,5])
这篇关于python0基础学数据分析-数据清洗的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-25Python编程基础:变量与类型
- 2024-11-25Python编程基础与实践
- 2024-11-24Python编程基础详解
- 2024-11-21Python编程基础教程
- 2024-11-20Python编程基础与实践
- 2024-11-20Python编程基础与高级应用
- 2024-11-19Python 基础编程教程
- 2024-11-19Python基础入门教程
- 2024-11-17在FastAPI项目中添加一个生产级别的数据库——本地环境搭建指南
- 2024-11-16`PyMuPDF4LLM`:提取PDF数据的神器