李宏毅2021春机器学习课程笔记--类神经网络(三)
2021/11/4 23:13:16
本文主要是介绍李宏毅2021春机器学习课程笔记--类神经网络(三),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
视频链接: https://www.bilibili.com/video/BV1Wv411h7kN?p=13
自动调整学习率 learning rate
critical point 有时不是训练时的最大障碍->当loss不再下降时, gradient真的很小吗?
下图 在 error surface反复横跳
对于convex(等高线为椭圆)的error surface,设置大/小的学习率的结果 -无法靠近critical point
在某一方向比较平坦,希望learning rate大,
比较陡峭则:smaller learning
Adaptive learning:
Adagrad
将步长调节为与参数i和与时间有关的参数
将可调节参数化为过去梯度的平均再开根号
上述为Adagrad的核心思想
RMSProp
最早出现在 Hinton的公开课
方向 梯度 都加权
自动调整学习率:
梯度小的地方sigma小,作为分母使得学习率变大。
学习率衰减 使得越接近终点的 走的越缓慢
warm up: learning rate先变大后变小
RAdam论文有详细讲解
残差网络便使用了这个调参策略
(0.01->0.1)
Transformer:
m与sigama都考虑过去所有gradiant
但动量momentum是是把过去所有的梯度直接相加,考虑了方向
sigma考虑大小:
总结:
Adam 学习率调整分为三部分:
动量m 调整方向
sigma 调整大小
η (一般decay or warm up)控制整体趋势
这篇关于李宏毅2021春机器学习课程笔记--类神经网络(三)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-01-24手把手教你使用MDK仿真调试
- 2024-01-10基于“小数据”的机器学习
- 2024-01-08扩展卡尔曼滤波:提高机器学习性能的利器
- 2023-12-26各种二端口滤波器网络仿真遇到的问题
- 2023-12-14机器学习-搜索技术:从技术发展到应用实战的全面指南
- 2023-12-12机器学习 - 决策树:技术全解与案例实战
- 2023-12-05机器学习-学习率:从理论到实战,探索学习率的调整策略
- 2023-12-04解锁机器学习-梯度下降:从技术到实战的全面指南
- 2023-11-30回归算法全解析!一文读懂机器学习中的回归模型
- 2023-11-30机器学习 - 似然函数:概念、应用与代码实例