李宏毅2021春机器学习课程笔记--类神经网络(三)

2021/11/4 23:13:16

本文主要是介绍李宏毅2021春机器学习课程笔记--类神经网络(三),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

视频链接: https://www.bilibili.com/video/BV1Wv411h7kN?p=13

自动调整学习率 learning rate

critical point 有时不是训练时的最大障碍->当loss不再下降时, gradient真的很小吗?

下图 在 error surface反复横跳
在这里插入图片描述
对于convex(等高线为椭圆)的error surface,设置大/小的学习率的结果 -无法靠近critical point
在这里插入图片描述
在某一方向比较平坦,希望learning rate大,
比较陡峭则:smaller learning

Adaptive learning:

Adagrad

在这里插入图片描述
将步长调节为与参数i和与时间有关的参数

将可调节参数化为过去梯度的平均再开根号
在这里插入图片描述
上述为Adagrad的核心思想

RMSProp

最早出现在 Hinton的公开课
在这里插入图片描述
在这里插入图片描述
方向 梯度 都加权
在这里插入图片描述
自动调整学习率:
梯度小的地方sigma小,作为分母使得学习率变大。
在这里插入图片描述
学习率衰减 使得越接近终点的 走的越缓慢
在这里插入图片描述

warm up: learning rate先变大后变小
RAdam论文有详细讲解

残差网络便使用了这个调参策略
(0.01->0.1)
Transformer:
在这里插入图片描述
m与sigama都考虑过去所有gradiant
但动量momentum是是把过去所有的梯度直接相加,考虑了方向
sigma考虑大小:

在这里插入图片描述
总结:
Adam 学习率调整分为三部分:
动量m 调整方向
sigma 调整大小
η (一般decay or warm up)控制整体趋势



这篇关于李宏毅2021春机器学习课程笔记--类神经网络(三)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程