机器学习算法基础-sklearn数据集与机器学习组成
2021/10/14 17:44:08
本文主要是介绍机器学习算法基础-sklearn数据集与机器学习组成,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
sklearn数据集与机器学习组成
- 开发机器学习应用程序的步骤
- scikit-learn数据集
- sklearn.datasets
- datasets.load_*()
- datasets.fetch_*()
- datasets.make_*()
开发机器学习应用程序的步骤
(1)收集数据
我们可以使用很多方法收集样本护具,如:制作网络爬虫从网站上抽取数据、从RSS反馈或者API中得>到信息、设备发送过来的实测数据。
(2)准备输入数据
得到数据之后,还必须确保数据格式符合要求。
(3)分析输入数据
这一步的主要作用是确保数据集中没有垃圾数据。如果是使用信任的数据来源,那么可以直接跳过这个步骤
(4)训练算法
机器学习算法从这一步才真正开始学习。如果使用无监督学习算法,由于不存在目标变量值,故而也不>需要训练算法,所有与算法相关的内容在第(5)步
(5)测试算法
这一步将实际使用第(4)步机器学习得到的知识信息。当然在这也需要评估结果的准确率,然后根据>需要重新训练你的算法
(6)使用算法
转化为应用程序,执行实际任务。以检验上述步骤是否可以在实际环境中正常工作。如果碰到新的数据>问题,同样需要重复执行上述的步骤
scikit-learn数据集
sklearn.datasets
datasets.load_*()
获取小规模数据集,数据包含在datasets里
from sklearn.datasets import load_iris,load_boston from sklearn.model_selection import train_test_split ###鸢尾花数据集 li = load_iris() print('获得特征值') print(li.data) print("目标值") print(li.target) print(li.DESCR) ###波士顿房产交易数据集 lb = load_boston() print(lb.data) print(lb.target) print(lb.DESCR)
datasets.fetch_*()
获取大规模数据集,需要从网络上下载,函数的第一个参数是data_home,表示数据集下载的目录,默认是 ~/scikit_learn_data/,要修改默认目录,可以修改环境变量SCIKIT_LEARN_DATA
sklearn.datasets.fetch_20newsgroups
from sklearn.datasets import fetch_20newsgroups from sklearn.model_selection import train_test_split news = fetch_20newsgroups(subset='all') print(news.data) print(news.target)
datasets.make_*()
本地生成数据集
load和 fetch 函数返回的数据类型是 datasets.base.Bunch,本质上是一个 dict,它的键值对可用通过对象的属性方式访问。主要包含以下属性:
data:特征数据数组,是 n_samples * n_features 的二维 numpy.ndarray 数组 target:标签数组,是 n_samples 的一维 numpy.ndarray 数组 DESCR:数据描述 feature_names:特征名 target_names:标签名
数据集目录可以通过datasets.get_data_home()获取,clear_data_home(data_home=None)删除所有下载数据
datasets.get_data_home(data_home=None)
返回scikit学习数据目录的路径。这个文件夹被一些大的数据集装载器使用,以避免下载数据。默认情况下,数据目录设置为用户主文件夹中名为“scikit_learn_data”的文件夹。或者,可以通过“SCIKIT_LEARN_DATA”环境变量或通过给出显式的文件夹路径以编程方式设置它。’〜'符号扩展到用户主文件夹。如果文件夹不存在,则会自动创建。
sklearn.datasets.clear_data_home(data_home=None)
删除存储目录中的数据
这篇关于机器学习算法基础-sklearn数据集与机器学习组成的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-17机器学习资料入门指南
- 2024-12-06如何用OpenShift流水线打造高效的机器学习运营体系(MLOps)
- 2024-12-06基于无监督机器学习算法的预测性维护讲解
- 2024-12-03【机器学习(六)】分类和回归任务-LightGBM算法-Sentosa_DSML社区版
- 2024-12-0210个必须使用的机器学习API,为高级分析助力
- 2024-12-01【机器学习(五)】分类和回归任务-AdaBoost算法-Sentosa_DSML社区版
- 2024-11-28【机器学习(四)】分类和回归任务-梯度提升决策树(GBDT)算法-Sentosa_DSML社区版
- 2024-11-26【机器学习(三)】分类和回归任务-随机森林(Random Forest,RF)算法-Sentosa_DSML社区版
- 2024-11-18机器学习与数据分析的区别
- 2024-10-28机器学习资料入门指南