[数学建模] 数据预处理
2021/10/26 23:16:18
本文主要是介绍[数学建模] 数据预处理,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
在进行数据处理之前,往往需要对数据中一些不完美的地方进行预处理,使得我们能够更好地进行数据的分析计算。
缺失值
一、删除
如果某一项缺失数据过多,剩余的记录可能难以再反映出真实的情况,可以考虑删除该项。
二、均值、众数插补
对于一些对个体精度要求不高的数据,可以考虑将缺失的值用均值/众数填充。
例如:人口数量年龄、经济产业情况。
三、牛顿插值法
通过牛顿插值法公式,构造近似函数。
适合于关注函数精确值而不关系函数变化的数据。
例如:地形测量、热力学温度、定位
推荐参考链接
四、样条插值法
适合数据变化曲线较为光滑的数据。
例如:零件加工、水库流量、物体运动轨迹
异常值
对于异常值,处理方法一般是把该值删除,然后按照缺失值的处理方法进行处理。
那么问题来了,如何判断一个值石佛iu为异常值呢?
一、正态分布
数据大概率处于 ( u − 3 σ , u + 3 σ ) (u - 3σ,u + 3σ) (u−3σ,u+3σ)内,不在此范围的数据大概率为异常值。
PS:仅适用于符合正态分布规律的数据。
二、画箱型图
基本步骤如下:
- 吧数据从小到大排序,下四分位Q1为排在25%的数值,上四分位Q3为排在75%的数值。
- 四分位距IQR = Q3 - Q1
- 划分正常值区间, [ Q 1 − 1.5 + I Q R , Q 3 + 1.5 + I Q R ] [Q_1-1.5+IQR,Q_3+1.5+IQR] [Q1−1.5+IQR,Q3+1.5+IQR]。(1.5为习惯取值)
推荐参考链接
参考资料:
参考链接
这篇关于[数学建模] 数据预处理的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-06-15matplotlib作图不显示3D图,怎么办?
- 2024-06-1503-Loki 日志监控
- 2024-06-1504-让LLM理解知识 -Prompt
- 2024-06-05做软件测试需要懂代码吗?
- 2024-06-0514-ShardingSphere的分布式主键实现
- 2024-06-03为什么以及如何要进行架构设计权衡?
- 2024-05-31全网首发第二弹!软考2024年5月《软件设计师》真题+解析+答案!(11-20题)
- 2024-05-31全网首发!软考2024年5月《软件设计师》真题+解析+答案!(21-30题)
- 2024-05-30【Java】百万数据excel导出功能如何实现
- 2024-05-30我们小公司,哪像华为一样,用得上IPD(集成产品开发)?