辨析：最小二乘、线性回归与极大似然

2021/6/19 0:05:28

编程Tag： 优化最小线性似然辨析极大二乘

本文主要是介绍辨析：最小二乘、线性回归与极大似然，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

下面三个概念在机器学习领域非常常见：

这三个术语经常存在混淆，本文试图辨析。

注意，本文辨析结果也许与一般书籍论文中定义不同，全在于个人理解。

最小二乘，狭义上，是以最小化目标与拟合函数 f(x;w) 误差平方和的方式，确定函数参数的方法，即

$\min_{w} \frac{1}{N}\sum_i (y_i-f(x_i;w))^2$

当 f(x;w) 是关于参数的线性函数的时候：

误差 $\epsilon = y - f(x;w)$ 进一步满足: (1) $E(\epsilon)=0$ , (2) $Cov(\epsilon)=\sigma^2 I$ 时，最小二乘法优化得到的函数参数是 BLUE 的，即最小无偏估计。

重点说明极大似然与最小二乘的关系。

假设模型的误差可以用正态分布建模，即

$y=f(x;w) + \epsilon, \epsilon\sim N(0,\sigma^2)$

可以写成

$y=N(f(x;w)),\sigma^2)$

易知，利用极大似然优化上式，等价于上述最小二乘的优化公式。

需要注意，利用最小二乘法优化线性回归，并不需要正态分布假设即可 BLUE。

正态分布只是帮助理解最小二乘与极大似然之间可能存在的关系。

这篇关于辨析：最小二乘、线性回归与极大似然的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！