决策树算法6-案例:泰坦尼克号乘客生存预测
2021/9/23 22:11:28
本文主要是介绍决策树算法6-案例:泰坦尼克号乘客生存预测,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
1 案例背景
泰坦尼克号沉没是历史上最臭名昭着的沉船之一。1912年4月15日,在她的处女航中,泰坦尼克号在与冰山相撞后沉没,在2224名乘客和机组人员中造成1502人死亡。这场耸人听闻的悲剧震惊了国际社会,并为船舶制定了更好的安全规定。 造成海难失事的原因之一是乘客和机组人员没有足够的救生艇。尽管幸存下沉有一些运气因素,但有些人比其他人更容易生存,例如妇女,儿童和上流社会。 在这个案例中,我们要求您完成对哪些人可能存活的分析。特别是,我们要求您运用机器学习工具来预测哪些乘客幸免于悲剧。
案例:https://www.kaggle.com/c/titanic/overview
我们提取到的数据集中的特征包括票的类别,是否存活,乘坐班次,年龄,登陆home.dest,房间,船和性别等。
经过观察数据得到:
- 1 乘坐班是指乘客班(1,2,3),是社会经济阶层的代表。
- 2 其中age数据存在缺失。
2 步骤分析
- 1.获取数据
- 2.数据基本处理
- 2.1 确定特征值,目标值
- 2.2 缺失值处理
- 2.3 数据集划分
- 3.特征工程(字典特征抽取)
- 4.机器学习(决策树)
- 5.模型评估
3 代码实现
- 导入需要的模块
import pandas as pd import numpy as np from sklearn.feature_extraction import DictVectorizer from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier, export_graphviz
- 1.获取数据
# 可以通过github上下载数据 titanic=pd.read_csv("data/titanic/train.csv") titanic
- 2.数据基本处理
# 2.1 确定特征值,目标值 x = titan[["pclass", "age", "sex"]] y = titan["survived"] # 2.2 缺失值处理 # 缺失值需要处理,将特征当中有类别的这些特征进行字典特征抽取 x['age'].fillna(x['age'].mean(), inplace=True) # 2.3 数据集划分 x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)
- 3.特征工程(字典特征抽取)
特征中出现类别符号,需要进行one-hot编码处理(DictVectorizer),x.to_dict(orient="records") 需要将数组特征转换成字典数据
# 对于x转换成字典数据x.to_dict(orient="records") # [{"pclass": "1st", "age": 29.00, "sex": "female"}, {}] # 转换为字典的形式 x_train=x_train.to_dict(orient="records") x_test=x_test.to_dict(orient="records") # 特征转换 transfer = DictVectorizer(sparse=False) x_train = transfer.fit_transform(x_train.to_dict(orient="records")) x_test = transfer.fit_transform(x_test.to_dict(orient="records"))
- 4.决策树模型训练和模型评估
决策树API当中,如果没有指定max_depth那么会根据信息熵的条件直到最终结束。这里我们可以指定树的深度来进行限制树的大小
# 4.机器学习(决策树) estimator = DecisionTreeClassifier(criterion="entropy", max_depth=5) estimator.fit(x_train, y_train)
- 5.模型评估
# 5.模型评估 estimator.score(x_test, y_test) estimator.predict(x_test)
4 决策树可视化
4.1 保存树的结构到dot文件
sklearn.tree.export_graphviz()
- 该函数能够导出DOT格式
- tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=['',''])
# 6.决策树可视化 export_graphviz(estimator, out_file="./data/tree.dot", feature_names=['Age','Pclass','Sex','Survived'])
dot文件当中的内容如下
digraph Tree { node [shape=box] ; 0 [label="petal length (cm) <= 2.45\nentropy = 1.584\nsamples = 112\nvalue = [39, 37, 36]"] ; 1 [label="entropy = 0.0\nsamples = 39\nvalue = [39, 0, 0]"] ; 0 -> 1 [labeldistance=2.5, labelangle=45, headlabel="True"] ; 2 [label="petal width (cm) <= 1.75\nentropy = 1.0\nsamples = 73\nvalue = [0, 37, 36]"] ; 0 -> 2 [labeldistance=2.5, labelangle=-45, headlabel="False"] ; 3 [label="petal length (cm) <= 5.05\nentropy = 0.391\nsamples = 39\nvalue = [0, 36, 3]"] ; 2 -> 3 ; 4 [label="sepal length (cm) <= 4.95\nentropy = 0.183\nsamples = 36\nvalue = [0, 35, 1]"] ; 3 -> 4 ; 5 [label="petal length (cm) <= 3.9\nentropy = 1.0\nsamples = 2\nvalue = [0, 1, 1]"] ; 4 -> 5 ; 6 [label="entropy = 0.0\nsamples = 1\nvalue = [0, 1, 0]"] ; 5 -> 6 ; 7 [label="entropy = 0.0\nsamples = 1\nvalue = [0, 0, 1]"] ; 5 -> 7 ; 8 [label="entropy = 0.0\nsamples = 34\nvalue = [0, 34, 0]"] ; 4 -> 8 ; 9 [label="petal width (cm) <= 1.55\nentropy = 0.918\nsamples = 3\nvalue = [0, 1, 2]"] ; 3 -> 9 ; 10 [label="entropy = 0.0\nsamples = 2\nvalue = [0, 0, 2]"] ; 9 -> 10 ; 11 [label="entropy = 0.0\nsamples = 1\nvalue = [0, 1, 0]"] ; 9 -> 11 ; 12 [label="petal length (cm) <= 4.85\nentropy = 0.191\nsamples = 34\nvalue = [0, 1, 33]"] ; 2 -> 12 ; 13 [label="entropy = 0.0\nsamples = 1\nvalue = [0, 1, 0]"] ; 12 -> 13 ; 14 [label="entropy = 0.0\nsamples = 33\nvalue = [0, 0, 33]"] ; 12 -> 14 ; }
4.2 网站显示结构
- http://webgraphviz.com/
5 决策树总结
- 优点:
- 简单的理解和解释,树木可视化。
- 缺点:
- 决策树学习者可以创建不能很好地推广数据的过于复杂的树,容易发生过拟合。
- 改进:
- 减枝cart算法
- 随机森林(集成学习的一种)
注:企业重要决策,由于决策树很好的分析能力,在决策过程应用较多, 可以选择特征
这篇关于决策树算法6-案例:泰坦尼克号乘客生存预测的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-31全网首发第二弹!软考2024年5月《软件设计师》真题+解析+答案!(11-20题)
- 2024-05-31全网首发!软考2024年5月《软件设计师》真题+解析+答案!(21-30题)
- 2024-05-30【Java】百万数据excel导出功能如何实现
- 2024-05-30我们小公司,哪像华为一样,用得上IPD(集成产品开发)?
- 2024-05-30java excel上传--poi
- 2024-05-30安装笔记本应用商店的pycharm,再安排pandas等模块,说是没有打包工具?
- 2024-05-29java11新特性
- 2024-05-29哪些无用敏捷指标正在破坏敏捷转型?
- 2024-05-29鸿蒙原生应用再新丁!新华社 入局鸿蒙
- 2024-05-29设计模式 之 迭代器模式(Iterator)