代码拉取完成，页面将自动刷新
torch.optim是实现各种优化算法的包。最常用的方法都已经支持，接口很常规，所以以后也可以很容易地集成更复杂的方法。
要使用torch.optim，您必须构造一个optimizer对象。这个对象能保存当前的参数状态并且基于计算梯度更新参数
要构造一个Optimizer，你必须给它一个包含参数（必须都是Variable对象）进行优化。然后，您可以指定optimizer的参 数选项，比如学习率，权重衰减等。
例子：
optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)
Optimizer也支持为每个参数单独设置选项。若想这么做，不要直接传入Variable的iterable，而是传入dict 的 iterable。每一个dict都分别定 义了一组参数，并且包含一个param键，这个键对应参数的列表。其他的键应该optimizer所接受的其他参数的关键字相匹配，并且会被用于对这组参数的 优化。
注意：
您仍然可以将选项作为关键字参数传递。它们将被用作默认值，在不覆盖它们的组中。当您只想改变一个选项，同时保持参数组之间的所有其他选项一致时，这很有用。
例如，当我们想指定每一层的学习率时，这是非常有用的：
optim.SGD([
{'params': model.base.parameters()},
{'params': model.classifier.parameters(), 'lr': 1e-3}
], lr=1e-2, momentum=0.9)
这意味着model.base参数将使用默认的学习速率1e-2，model.classifier参数将使用学习速率1e-3，并且0.9的momentum将会被用于所有的参数。
所有的optimizer都会实现step()更新参数的方法。它能按两种方式来使用：
这是大多数optimizer所支持的简化版本。一旦梯度被如backward()之类的函数计算好后，我们就可以调用该函数。
例子
for input, target in dataset:
optimizer.zero_grad()
output = model(input)
loss = loss_fn(output, target)
loss.backward()
optimizer.step()
一些优化算法例如Conjugate Gradient和LBFGS需要重复多次计算函数，因此你需要传入一个闭包去允许它们重新计算你的模型。这个闭包会清空梯度， 计算损失，然后返回。
例子：
for input, target in dataset:
def closure():
optimizer.zero_grad()
output = model(input)
loss = loss_fn(output, target)
loss.backward()
return loss
optimizer.step(closure)
class torch.optim.Optimizer(params, defaults)
所有优化的基类.
参数：
Variable 或者 dict。指定应优化哪些变量。load_state_dict(state_dict)
加载optimizer状态
参数：
optimizer的状态。应该是state_dict()调用返回的对象。state_dict()
将优化器的状态返回为一个dict。
它包含两个内容：
optimization状态的dict。它包含了 优化器类之间的不同。dict。step(closure)
执行单个优化步骤（参数更新）。
参数：
清除所有优化过的Variable的梯度。
class torch.optim.Adadelta(params, lr=1.0, rho=0.9, eps=1e-06, weight_decay=0)
实现Adadelta算法。
参数：
step(closure)
执行单个优化步骤。
参数：
class torch.optim.Adagrad(params, lr=0.01, lr_decay=0, weight_decay=0)
实现 Adagrad 算法。
在在线学习和随机优化的自适应子梯度方法中被提出。
参数：
step(closure)
执行单个优化步骤。
参数：
class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source]
实现 Adam 算法。
它在Adam: A Method for Stochastic Optimization中被提出。
参数：
step(closure)
执行单个优化步骤。
参数：
class torch.optim.Adamax(params, lr=0.002, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)
实现Adamax算法（Adam 的一种基于无穷范数的变种）。
它在Adam: A Method for Stochastic Optimization中被提出。
参数：
step(closure=None)
执行单个优化步骤。
参数：
class torch.optim.ASGD(params, lr=0.01, lambd=0.0001, alpha=0.75, t0=1000000.0, weight_decay=0)
实现平均随机梯度下降。
它在Acceleration of stochastic approximation by averaging中被提出。
参数：
step(closure)
执行单个优化步骤。
参数：
class torch.optim.LBFGS(params, lr=1, max_iter=20, max_eval=None, tolerance_grad=1e-05, tolerance_change=1e-09, history_size=100, line_search_fn=None)
实现 L-BFGS 算法。
警告: 这个 optimizer 不支持为每个参数单独设置选项以及不支持参数组（只能有一个） 现在所有参数必须在单个设备上。将来会有所改善。
注意: 这是一个内存高度密集的 optimizer（它要求额外的
param_bytes * (history_size + 1)个字节）。如果它不适应内存，尝试减小 history size，或者使用不同的算法。
参数：
step(closure)
执行单个优化步骤。
参数：
class torch.optim.RMSprop(params, lr=0.01, alpha=0.99, eps=1e-08, weight_decay=0, momentum=0, centered=False)[source]
实现RMSprop算法。
由G. Hinton在他的课程中提出.
中心版本首次出现在Generating Sequences With Recurrent Neural Networks.
参数：
step(closure)
执行单个优化步骤。
参数：
class torch.optim.Rprop(params, lr=0.01, etas=(0.5, 1.2), step_sizes=(1e-06, 50))
实现弹性反向传播算法。
参数：
step(closure)
执行单个优化步骤。
参数：
class torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_decay=0, nesterov=False)
实现随机梯度下降算法（momentum 可选）。
Nesterov 动量基于On the importance of initialization and momentum in deep learning中的公式.
参数：
例子：
>>> optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
>>> optimizer.zero_grad()
>>> loss_fn(model(input), target).backward()
>>> optimizer.step()
提示：
带有动量/Nesterov 的 SGD 的实现稍微不同于 Sutskever 等人以及其他框架中的实现。 考虑到 Momentum 的具体情况，更新可以写成 v=ρ∗v+g p=p−lr∗v 其中，p、g、v 和ρ分别是参数、梯度、速度和动量。 这是在对比 Sutskever et. al。和其他框架采用该形式的更新 v=ρ∗v+lr∗g p=p−v Nesterov 版本被类似地修改。
step(closure)
执行单个优化步骤。
参数：
torch.optim.lr_scheduler 提供了几种方法来根据 epoches 的数量调整学习率。 torch.optim.lr_scheduler.ReduceLROnPlateau允许基于一些验证测量来降低动态学习速率。
class torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)
将每个参数组的学习速率设置为初始的 lr 乘以一个给定的函数。当 last_epoch=-1 时，将初始 lr 设置为 lr。
参数：
epoch，或列表等功能，为每个组optimizer.param_groups。例子：
>>> # Assuming optimizer has two groups.
>>> lambda1 = lambda epoch: epoch // 30
>>> lambda2 = lambda epoch: 0.95 ** epoch
>>> scheduler = LambdaLR(optimizer, lr_lambda=[lambda1, lambda2])
>>> for epoch in range(100):
>>> scheduler.step()
>>> train(...)
>>> validate(...)
class torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)
将每个参数组的学习速率设置为每个 step_size 时间段由 gamma 衰减的初始 lr。当 last_epoch = -1 时，将初始 lr 设置为 lr。
例子：
>>> # Assuming optimizer uses lr = 0.5 for all groups
>>> # lr = 0.05 if epoch < 30
>>> # lr = 0.005 if 30 <= epoch < 60
>>> # lr = 0.0005 if 60 <= epoch < 90
>>> # ...
>>> scheduler = StepLR(optimizer, step_size=30, gamma=0.1)
>>> for epoch in range(100):
>>> scheduler.step()
>>> train(...)
>>> validate(...)
class torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)
一旦时间的数量达到一个里程碑,则将每个参数组的学习率设置为伽玛衰减的初始值。当 last_epoch=-1 时，将初始 lr 设置为 lr。
参数：
例子：
>>> # Assuming optimizer uses lr = 0.5 for all groups
>>> # lr = 0.05 if epoch < 30
>>> # lr = 0.005 if 30 <= epoch < 80
>>> # lr = 0.0005 if epoch >= 80
>>> scheduler = MultiStepLR(optimizer, milestones=[30,80], gamma=0.1)
>>> for epoch in range(100):
>>> scheduler.step()
>>> train(...)
>>> validate(...)
class torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=-1)
将每个参数组的学习速率设置为每一个时代的初始 lr 衰减。当 last_epoch=-1 时，将初始 lr 设置为 lr。
class torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)
当指标停止改善时，降低学习率。当学习停滞不前时，模型往往会使学习速度降低 2-10 倍。这个调度程序读取一个指标量，如果没有提高 epochs 的数量，学习率就会降低。
>>> optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
>>> scheduler = torch.optim.ReduceLROnPlateau(optimizer, 'min')
>>> for epoch in range(10):
>>> train(...)
>>> val_loss = validate(...)
>>> # Note that step should be called after validate()
>>> scheduler.step(val_loss)
| 用户名 | 头像 | 职能 | 签名 |
|---|---|---|---|
| Song |  |
翻译 | 人生总要追求点什么 |
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。