第一个机器学习项目--简单分类问题多算法比较全流程Python实现
2021/12/22 1:19:31
本文主要是介绍第一个机器学习项目--简单分类问题多算法比较全流程Python实现,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
第一个机器学习项目–分类问题
- 像一个优秀的工程师一样使用机器学习,而不要像一个机器学习专家一样使用机器学习方法。–Google
定义问题
数据理解
数据准备
评估算法:分离测试集和训练集
优化模型:调参、集成算法
结果部署:完成模型、执行模型、预测展示
1.导入数据
# 导入类库 from pandas import read_csv from pandas.plotting import scatter_matrix from matplotlib import pyplot from sklearn.model_selection import train_test_split from sklearn.model_selection import KFold from sklearn.model_selection import cross_val_score from sklearn.metrics import classification_report from sklearn.metrics import confusion_matrix from sklearn.metrics import classification_report from sklearn.linear_model import LogisticRegression from sklearn.tree import DecisionTreeClassifier from sklearn.discriminant_analysis import LinearDiscriminantAnalysis from sklearn.neighbors import KNeighborsClassifier from sklearn.naive_bayes import GaussianNB from sklearn.svm import SVC ##下载数据集(http://archive.ics.uci.edu/ml/datasets/Iris) # 导入数据 filename = 'iris.data.csv' names = ['separ-length','separ-width','petal-length','petal-width','class'] dataset = read_csv(filename, names=names)
2.概述数据
(1)数据维度
(2)查看数据自身
(3)统计描述所有的数据特征
(4)数据分类的分布情况
# 显示数据维度 print('数据维度:行 %s,列 %s' %dataset.shape) # 查看数据的前十行 print(dataset.head(10)) # 描述性统计数据信息 print (dataset.describe()) # 分类分布情况 print(dataset.groupby('class').size())
3.数据可视化
单变量图表和多变量图表
# 箱线图 dataset.plot(kind='box', subplots=True, layout=(2,2), sharex=False, sharey=False) pyplot.show() # 直方图 dataset.hist() pyplot.show() # 散点矩阵图 scatter_matrix(dataset) pyplot.show()
4.评估算法
(1)分离测试集训练集
(2)采用10折交叉验证来评估算法模型 ;随机将数据分成10份,9份用来训练模型,1份用来评估算法
(3)生成6个不同的模型来预测新数据
线性回归LR 、线性判别分析、K近邻、分类与回归树(决策树)、贝叶斯分类器、支持向量机
(4)选择最优模型
# 分离数据集 array = dataset.values X = array[:, 0:4] Y = array[:, 4] validation_size = 0.2 seed = 7 X_train, X_validation, Y_train, Y_validation = train_test_split(X, Y, test_size=validation_size, random_state=seed) # 算法审查 models ={} models['LR']=LogisticRegression() models['LDA']=LinearDiscriminantAnalysis() models['KNN']=KNeighborsClassifier() models['CART']=DecisionTreeClassifier() models['NB']=GaussianNB() models['SVM']=SVC() # 评估算法 results = [] for key in models: kfold = KFold(n_splits=10, random_state=seed) cv_results = cross_val_score(models[key], X_train,Y_train, cv=kfold, scoring='accuracy') results.append(cv_results) print('%s; %f (%f)' %(key, cv_results.mean(),cv_results.std())) # 箱线图比较算法 fig = pyplot.figure() fig.suptitle('Algorithm Comparison') ax = fig.add_subplot(111) pyplot.boxplot(results) ax.set_xticklabels(models.keys()) pyplot.show() # 使用评估数据集评估算法 from sklearn.metrics import accuracy_score svm = SVC() svm.fit(X=X_train, y=Y_train) predictions = svm.predict(X_validation) print(accuracy_score(Y_validation,predictions)) print(confusion_matrix(Y_validation,predictions)) print(classification_report(Y_validation,predictions))
本文链接:https://blog.csdn.net/qq_46426207/article/details/122075906
这篇关于第一个机器学习项目--简单分类问题多算法比较全流程Python实现的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-21Python编程基础教程
- 2024-11-20Python编程基础与实践
- 2024-11-20Python编程基础与高级应用
- 2024-11-19Python 基础编程教程
- 2024-11-19Python基础入门教程
- 2024-11-17在FastAPI项目中添加一个生产级别的数据库——本地环境搭建指南
- 2024-11-16`PyMuPDF4LLM`:提取PDF数据的神器
- 2024-11-16四种数据科学Web界面框架快速对比:Rio、Reflex、Streamlit和Plotly Dash
- 2024-11-14获取参数学习:Python编程入门教程
- 2024-11-14Python编程基础入门