pytorch优化器动态学习率和动量设置（scheduler & momentum）

本文主要是介绍pytorch优化器动态学习率和动量设置（scheduler & momentum），对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

一、动量（momentum）

　可以给优化器加上一个动量，可以有效缓解局部最优问题。

　原理上就是让优化过程从

　　W = W - lr * dW

　变成

　　V = momentum * V - lr * dW

　　W = W + V

　使用示例：

from torch import optim
...
model = Model()
optimizer = optim.SGD(model.parameters(), lr=0.005, momentum=0.9)
...

二、优化器动态学习率设置（scheduler）

　可以让学习率随着epoch的增大而减小，此处以ExponentialLR为例

　使用示例：

from torch.optim.lr_scheduler import ExponentialLR
...
optimizer = optim.SGD(catp.parameters(), lr=0.005, momentum=0.9)
scheduler = ExponentialLR(optimizer, gamma=0.99)
for epoch in range(epochs):
    for i, batch_data in enumerate(dataloader):
        loss = ...
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    scheduler.step()
...

这篇关于pytorch优化器动态学习率和动量设置（scheduler & momentum）的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！