李宏毅2021春机器学习课程笔记--类神经网络(三)
2021/11/4 23:13:16
本文主要是介绍李宏毅2021春机器学习课程笔记--类神经网络(三),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
视频链接: https://www.bilibili.com/video/BV1Wv411h7kN?p=13
自动调整学习率 learning rate
critical point 有时不是训练时的最大障碍->当loss不再下降时, gradient真的很小吗?
下图 在 error surface反复横跳
对于convex(等高线为椭圆)的error surface,设置大/小的学习率的结果 -无法靠近critical point
在某一方向比较平坦,希望learning rate大,
比较陡峭则:smaller learning
Adaptive learning:
Adagrad
将步长调节为与参数i和与时间有关的参数
将可调节参数化为过去梯度的平均再开根号
上述为Adagrad的核心思想
RMSProp
最早出现在 Hinton的公开课
方向 梯度 都加权
自动调整学习率:
梯度小的地方sigma小,作为分母使得学习率变大。
学习率衰减 使得越接近终点的 走的越缓慢
warm up: learning rate先变大后变小
RAdam论文有详细讲解
残差网络便使用了这个调参策略
(0.01->0.1)
Transformer:
m与sigama都考虑过去所有gradiant
但动量momentum是是把过去所有的梯度直接相加,考虑了方向
sigma考虑大小:
总结:
Adam 学习率调整分为三部分:
动量m 调整方向
sigma 调整大小
η (一般decay or warm up)控制整体趋势
这篇关于李宏毅2021春机器学习课程笔记--类神经网络(三)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-18机器学习与数据分析的区别
- 2024-10-28机器学习资料入门指南
- 2024-10-25机器学习开发的几大威胁及解决之道
- 2024-10-24以下是五个必备的MLOps (机器学习运维)工具,帮助提升你的生产效率 ??
- 2024-10-15如何选择最佳的机器学习部署策略:云 vs. 边缘
- 2024-10-12从软件工程师转行成为机器学习工程师
- 2024-09-262024年机器学习路线图:精通之路步步为营指南
- 2024-09-13机器学习教程:初学者指南
- 2024-08-07从入门到精通:全面解析机器学习基础与实践
- 2024-01-24手把手教你使用MDK仿真调试