torch.optim.lr_scheduler.StepLR 是 PyTorch 中的一个学习率调整器，按照一定的步长调整学习率。

torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1, verbose=False)

• optimizer：要使用该调度器的优化器。
• step_size：每隔多少个 epoch 进行一次学习率调整。
• gamma：学习率调整的乘数因子，即学习率乘以 gamma 得到新的学习率。
• last_epoch：上一次的 epoch 数，如果不指定则默认为 -1。
• verbose：是否打印学习率调整的信息，默认为 False。

在 PyTorch 中，学习率调度器一般与优化器一起使用，实现在训练过程中动态调整学习率。

1.构建模型： 构建神经网络模型。

2.定义优化器： 创建一个优化器（如 SGD 或 Adam）并将模型的参数传递给它，近年来Adam使用较多。

3.定义学习率调度器StepLR： 创建一个学习率调度器，并将其与优化器关联。

在训练循环中使用： 在每个训练迭代（或每个 epoch）结束时，调用学习率调度器的 step()方法。

 # 优化器
optimizer = optim.Adam([
        {'params': task_params},
        {'params': model.bert.parameters(), 'lr': config['bert_learning_rate']}],
        lr=config['task_learning_rate'],
        eps=config['adam_eps'])
#调度器
scheduler = optim.lr_scheduler.StepLR(optimizer,
                                          step_size=int(train_steps * 0.1))
#迭代训练
for _ in trange(int(config["num_epochs"]), desc="Epoch"):
    random.shuffle(examples)
    scheduler.step()