【每日一更】<吴恩达-机器学习>

2021/12/14 23:17:23

本文主要是介绍【每日一更】<吴恩达-机器学习>,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

目录

一、Linear Regression with multiple variable - 多变量线性回归:

二、Gradient descent for multiple carables - 多变量梯度下降:

三、Feature Scaling - 特征缩放:

1.特征缩放方法: 

2.归一化和标准化的区别:

四、Learning rate - 学习率:


一、Linear Regression with multiple variable - 多变量线性回归:

Multivariate linear regression:    


二、Gradient descent for multiple carables - 多变量梯度下降:


三、Feature Scaling - 特征缩放:

1.特征缩放方法: 

有一些时候,只对数据进行中心化和缩放是不够的,还需对数据进行白化(whitening)处理来消除特征间的线性相关性。

2.归一化和标准化的区别:

  • 归一化(normalization):归一化是将样本的特征值转换到同一量纲下,把数据映射到[0,1]或者[-1, 1]区间内。
  • 标准化(standardization):标准化是将样本的特征值转换为标准值(z值),每个样本点都对标准化产生影响。

四、Learning rate - 学习率:

        首先我们简单回顾下什么是学习率,在梯度下降的过程中更新权重时的超参数,即下面公式中的\alpha:         \theta = \theta - \alpha \frac{\partial }{\partial \theta } J(\theta )
        学习率越低,损失函数的变化速度就越慢,容易过拟合。虽然使用低学习率可以确保我们不会错过任何局部极小值,但也意味着我们将花费更长的时间来进行收敛,特别是在被困在局部最优点的时候。而学习率过高容易发生梯度爆炸,loss振动幅度较大,模型难以收敛。下图是不同学习率的loss变化,因此,选择一个合适的学习率是十分重要的。

 



这篇关于【每日一更】<吴恩达-机器学习>的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程