同步操作将从 OpenDocCN/pytorch-doc-zh 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
torch.optim
是一个实现了各种优化算法的库。大部分常用的方法得到支持,并且接口具备足够的通用性,使得未来能够集成更加复杂的方法。
为了使用torch.optim
,你需要构建一个optimizer对象。这个对象能够保持当前参数状态并基于计算得到的梯度进行参数更新。
为了构建一个Optimizer
,你需要给它一个包含了需要优化的参数(必须都是Variable
对象)的iterable。然后,你可以设置optimizer的参
数选项,比如学习率,权重衰减,等等。
例子:
optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)
Optimizer
也支持为每个参数单独设置选项。若想这么做,不要直接传入Variable
的iterable,而是传入dict
的iterable。每一个dict都分别定
义了一组参数,并且包含一个param
键,这个键对应参数的列表。其他的键应该optimizer所接受的其他参数的关键字相匹配,并且会被用于对这组参数的
优化。
注意:
你仍然能够传递选项作为关键字参数。在未重写这些选项的组中,它们会被用作默认值。当你只想改动一个参数组的选项,但其他参数组的选项不变时,这是 非常有用的。
例如,当我们想指定每一层的学习率时,这是非常有用的:
optim.SGD([
{'params': model.base.parameters()},
{'params': model.classifier.parameters(), 'lr': 1e-3}
], lr=1e-2, momentum=0.9)
这意味着model.base
的参数将会使用1e-2
的学习率,model.classifier
的参数将会使用1e-3
的学习率,并且0.9
的momentum将会被用于所
有的参数。
所有的optimizer都实现了step()
方法,这个方法会更新所有的参数。它能按两种方式来使用:
optimizer.step()
这是大多数optimizer所支持的简化版本。一旦梯度被如backward()
之类的函数计算好后,我们就可以调用这个函数。
例子
for input, target in dataset:
optimizer.zero_grad()
output = model(input)
loss = loss_fn(output, target)
loss.backward()
optimizer.step()
optimizer.step(closure)
一些优化算法例如Conjugate Gradient和LBFGS需要重复多次计算函数,因此你需要传入一个闭包去允许它们重新计算你的模型。这个闭包应当清空梯度, 计算损失,然后返回。
例子:
for input, target in dataset:
def closure():
optimizer.zero_grad()
output = model(input)
loss = loss_fn(output, target)
loss.backward()
return loss
optimizer.step(closure)
Base class for all optimizers.
参数:
Variable
或者 dict
的iterable。指定了什么参数应当被优化。加载optimizer状态
参数:
state_dict (dict
) —— optimizer的状态。应当是一个调用state_dict()
所返回的对象。
以dict
返回optimizer的状态。
它包含两项。
进行单次优化 (参数更新).
参数:
callable
) – 一个重新评价模型并返回loss的闭包,对于大多数参数来说是可选的。清空所有被优化过的Variable的梯度.
实现Adadelta算法。
它在ADADELTA: An Adaptive Learning Rate Method.中被提出。
参数:
float
, 可选) – 用于计算平方梯度的运行平均值的系数(默认:0.9)float
, 可选) – 为了增加数值计算的稳定性而加到分母里的项(默认:1e-6)float
, 可选) – 在delta被应用到参数更新之前对它缩放的系数(默认:1.0)float
, 可选) – 权重衰减(L2惩罚)(默认: 0)进行单次优化 (参数更新).
参数:
callable
) – 一个重新评价模型并返回loss的闭包,对于大多数参数来说是可选的。实现Adagrad算法。
它在 Adaptive Subgradient Methods for Online Learning and Stochastic Optimization中被提出。
参数:
float
, 可选) – 学习率(默认: 1e-2)float
, 可选) – 学习率衰减(默认: 0)float
, 可选) – 权重衰减(L2惩罚)(默认: 0)进行单次优化 (参数更新).
参数:
callable
) – 一个重新评价模型并返回loss的闭包,对于大多数参数来说是可选的。实现Adam算法。
它在Adam: A Method for Stochastic Optimization中被提出。
参数:
float
, 可选) – 学习率(默认:1e-3)float
, float
], 可选) – 用于计算梯度以及梯度平方的运行平均值的系数(默认:0.9,0.999)float
, 可选) – 为了增加数值计算的稳定性而加到分母里的项(默认:1e-8)float
, 可选) – 权重衰减(L2惩罚)(默认: 0)进行单次优化 (参数更新).
参数:
callable
) – 一个重新评价模型并返回loss的闭包,对于大多数参数来说是可选的。实现Adamax算法(Adam的一种基于无穷范数的变种)。
它在Adam: A Method for Stochastic Optimization中被提出。
参数:
float
, 可选) – 学习率(默认:2e-3)float
, float
], 可选) – 用于计算梯度以及梯度平方的运行平均值的系数float
, 可选) – 为了增加数值计算的稳定性而加到分母里的项(默认:1e-8)float
, 可选) – 权重衰减(L2惩罚)(默认: 0)进行单次优化 (参数更新).
参数:
callable
) – 一个重新评价模型并返回loss的闭包,对于大多数参数来说是可选的。实现平均随机梯度下降算法。
它在Acceleration of stochastic approximation by averaging中被提出。
参数:
float
, 可选) – 学习率(默认:1e-2)float
, 可选) – 衰减项(默认:1e-4)float
, 可选) – eta更新的指数(默认:0.75)float
, 可选) – 指明在哪一次开始平均化(默认:1e6)float
, 可选) – 权重衰减(L2惩罚)(默认: 0)进行单次优化 (参数更新).
参数:
callable
) – 一个重新评价模型并返回loss的闭包,对于大多数参数来说是可选的。实现L-BFGS算法。
这个optimizer不支持为每个参数单独设置选项以及不支持参数组(只能有一个)
目前所有的参数不得不都在同一设备上。在将来这会得到改进。
这是一个内存高度密集的optimizer(它要求额外的param_bytes * (history_size + 1)
个字节)。如果它不适应内存,尝试减小history size,或者使用不同的算法。
参数:
float
) – 学习率(默认:1)int
) – 每一步优化的最大迭代次数(默认:20))int
) – 每一步优化的最大函数评价次数(默认:max * 1.25)float
) – 一阶最优的终止容忍度(默认:1e-5)float
) – 在函数值/参数变化量上的终止容忍度(默认:1e-9)int
) – 更新历史的大小(默认:100)进行单次优化 (参数更新).
参数:
callable
) – 一个重新评价模型并返回loss的闭包,对于大多数参数来说是可选的。实现RMSprop算法。
由G. Hint
on在他的课程中提出.
中心版本首次出现在Generating Sequences With Recurrent Neural Networks.
参数:
float
, 可选) – 学习率(默认:1e-2)float
, 可选) – 动量因子(默认:0)float
, 可选) – 平滑常数(默认:0.99)float
, 可选) – 为了增加数值计算的稳定性而加到分母里的项(默认:1e-8)bool
, 可选) – 如果为True,计算中心化的RMSProp,并且用它的方差预测值对梯度进行归一化float
, 可选) – 权重衰减(L2惩罚)(默认: 0)进行单次优化 (参数更新).
参数:
callable
) – 一个重新评价模型并返回loss的闭包,对于大多数参数来说是可选的。实现弹性反向传播算法。
参数:
float
, 可选) – 学习率(默认:1e-2)float
, float
], 可选) – 一对(etaminus,etaplis), 它们分别是乘法的增加和减小的因子(默认:0.5,1.2)float
, float
], 可选) – 允许的一对最小和最大的步长(默认:1e-6,50)进行单次优化 (参数更新).
参数:
callable
) – 一个重新评价模型并返回loss的闭包,对于大多数参数来说是可选的。实现随机梯度下降算法(momentum可选)。
Nesterov动量基于On the importance of initialization and momentum in deep learning中的公式.
参数:
float
) – 学习率float
, 可选) – 动量因子(默认:0)float
, 可选) – 权重衰减(L2惩罚)(默认:0)float
, 可选) – 动量的抑制因子(默认:0)bool
, 可选) – 使用Nesterov动量(默认:False)例子:
>>> optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
>>> optimizer.zero_grad()
>>> loss_fn(model(input), target).backward()
>>> optimizer.step()
带有动量/Nesterov的SGD的实现稍微不同于Sutskever等人以及其他框架中的实现。
考虑动量的具体情况,更新可以写成
v=ρ*v+g
p=p-lr*v
其中,p、g、v和ρ分别是参数、梯度、速度和动量。
这跟Sutskever等人以及其他框架的实现是相反的,它们采用这样的更新
v=ρv+lrg
p=p-v
Nesterov的版本也类似地被修改了。
进行单次优化 (参数更新).
参数:
callable
) – 一个重新评价模型并返回loss的闭包,对于大多数参数来说是可选的。此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。