逻辑回归

2021/9/19 6:06:55

编程Tag： 函数逻辑模型回归损失 sigmoid

本文主要是介绍逻辑回归，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

逻辑回归是分类模型，对于二分类模型来说，类别标签为0(否)和1(是)。所以逻辑回归的范围应限制在0-1之间。

显然线性回归模型应用到分类问题时不能达到这种效果，为了解决这个问题将回归函数作为输入x放到sigmoid函数中，使函数的值域在0-1之间。

sigmoid函数

在这里插入图片描述

逻辑回归模型

逻辑回归的概率解释
在这里插入图片描述

将函数大于0.5归为正例，此时x的定义域大于0。小于0.5归为负例，此时x的定义域小于0。

逻辑回归的损失函数

线性回归的损失函数
在这里插入图片描述
因为逻辑回归模型为sigmoid函数，所以其损失函数不是凸函数

对于逻辑回归模型使用均方差作为损失函数无法很好地收敛，对于分类模型使用交叉熵作为损失函数。
在这里插入图片描述

在这里插入图片描述

h(x)的定义域在0-1之间，对于y=1，当h(x)接近于1时，损失函数趋于0收敛，接近0时，损失函数趋于无穷，损失函数无法收敛。y=0同理。

将损失函数写成一个函数形式
在这里插入图片描述

损失函数参数的优化使用梯度下降法
在这里插入图片描述

这篇关于逻辑回归的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！