AI-机器学习-自学笔记(四)K邻算法(KNN)
2021/11/6 9:10:19
本文主要是介绍AI-机器学习-自学笔记(四)K邻算法(KNN),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
K邻算法(k-Nearest Neighbor)是最常用也是最简单的机器学习算法之一。
关于该算法正式的表述是:如果一个样本在特征空间中的K个最相似(特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别的样本的特性。
通俗点说,就是近朱者赤近墨者黑,你周围的狐朋狗友多数属于哪一类人,你大概率也属于这一类人。具体说就是,找到跟你关系最近的K个朋友,看看他们是哪一类人(喜欢打什么游戏、是学霸还是学渣等)
在KNN中,通过计算对象间距离来为各个对象之间的非相似性指标,距离一般采用欧式距离或曼哈顿距离。在K个对象中投票表决进行决策。
在scikit-learn中KNN的类是 KNeighborsClassifier,下面以经典的鸢尾花数据集做个案例实验
1 # 从sklearn 导入KNeighborsClassifier方法 2 from sklearn.neighbors import KNeighborsClassifier 3 import numpy as np 4 from pandas import read_csv 5 #导入鸢尾花集数据 6 filename = 'data/iris/iris.data.csv' 7 names = ['separ-length','separ-width','petal-length','petal-width','class'] 8 dataset = read_csv(filename, names=names) 9 from sklearn.model_selection import train_test_split 10 from sklearn.metrics import accuracy_score 11 12 #分离数据集 13 array = dataset.values 14 X = array[:,0:4] 15 Y = array[:,4] 16 validation_size = 0.2 17 seed = 7 18 X_train,X_validation,Y_train,Y_validation = \ 19 train_test_split(X, Y, test_size=validation_size, 20 random_state=seed) 21 22 23 #定义数据集 24 model = KNeighborsClassifier(n_neighbors=3, algorithm='ball_tree') 25 #KNeighborsClassifier(algorithm='ball_tree', leaf_size=30, metric='minkowski',,metric_params=None, n_jobs=None, n_neighbors=4, p=2,,weights='uniform') 26 model.fit(X_train, Y_train) 27 28 29 # 预测 30 print(model.predict([[4.7, 3.2,1.3,0.2]])) # 输出某个具体数据的分类结果 31 print(model.predict_proba([[4.7, 3.2,1.3,0.2]])) # 预测属数据于各个标签的概率 32 print(model.score(X, Y)) # 输出模型训练结果准确率
打印结果如下:
1 ['Iris-setosa'] #预测输入的数据属于 Iris-setosa 这一种鸢尾花 2 [[1. 0. 0.]] #预测属于三种鸢尾花的概率分别为 1,0, 0,就是比较笃定地认为属于第一种了。 3 0.96 #在测试集上整体的预测准确率为0.96
这篇关于AI-机器学习-自学笔记(四)K邻算法(KNN)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-20实战:30 行代码做一个网页端的 AI 聊天助手
- 2024-11-185分钟搞懂大模型的重复惩罚后处理
- 2024-11-18基于Ollama和pgai的个人知识助手项目:用Postgres和向量扩展打造智能数据库
- 2024-11-15我用同一个提示测试了4款AI工具,看看谁设计的界面更棒
- 2024-11-15深度学习面试的时候,如何回答1x1卷积的作用
- 2024-11-15检索增强生成即服务:开发者的得力新帮手
- 2024-11-15技术与传统:人工智能时代的最后一袭纱丽
- 2024-11-15未结构化数据不仅仅是给嵌入用的:利用隐藏结构提升检索性能
- 2024-11-15Emotion项目实战:新手入门教程
- 2024-11-157 个开源库助你构建增强检索生成(RAG)、代理和 AI 搜索