[数学建模] 数据预处理
2021/10/26 23:16:18
本文主要是介绍[数学建模] 数据预处理,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
在进行数据处理之前,往往需要对数据中一些不完美的地方进行预处理,使得我们能够更好地进行数据的分析计算。
缺失值
一、删除
如果某一项缺失数据过多,剩余的记录可能难以再反映出真实的情况,可以考虑删除该项。
二、均值、众数插补
对于一些对个体精度要求不高的数据,可以考虑将缺失的值用均值/众数填充。
例如:人口数量年龄、经济产业情况。
三、牛顿插值法
通过牛顿插值法公式,构造近似函数。
适合于关注函数精确值而不关系函数变化的数据。
例如:地形测量、热力学温度、定位
推荐参考链接
四、样条插值法
适合数据变化曲线较为光滑的数据。
例如:零件加工、水库流量、物体运动轨迹
异常值
对于异常值,处理方法一般是把该值删除,然后按照缺失值的处理方法进行处理。
那么问题来了,如何判断一个值石佛iu为异常值呢?
一、正态分布
数据大概率处于 ( u − 3 σ , u + 3 σ ) (u - 3σ,u + 3σ) (u−3σ,u+3σ)内,不在此范围的数据大概率为异常值。
PS:仅适用于符合正态分布规律的数据。
二、画箱型图
基本步骤如下:
- 吧数据从小到大排序,下四分位Q1为排在25%的数值,上四分位Q3为排在75%的数值。
- 四分位距IQR = Q3 - Q1
- 划分正常值区间, [ Q 1 − 1.5 + I Q R , Q 3 + 1.5 + I Q R ] [Q_1-1.5+IQR,Q_3+1.5+IQR] [Q1−1.5+IQR,Q3+1.5+IQR]。(1.5为习惯取值)
推荐参考链接
参考资料:
参考链接
这篇关于[数学建模] 数据预处理的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-23Springboot应用的多环境打包入门
- 2024-11-23Springboot应用的生产发布入门教程
- 2024-11-23Python编程入门指南
- 2024-11-23Java创业入门:从零开始的编程之旅
- 2024-11-23Java创业入门:新手必读的Java编程与创业指南
- 2024-11-23Java对接阿里云智能语音服务入门详解
- 2024-11-23Java对接阿里云智能语音服务入门教程
- 2024-11-23JAVA对接阿里云智能语音服务入门教程
- 2024-11-23Java副业入门:初学者的简单教程
- 2024-11-23JAVA副业入门:初学者的实战指南