Pytorch反向求导更新网络参数的方法

àì夳堔傛蜴生んèń 2023-01-10 05:03 201阅读 0赞

更多python教程请到： [菜鸟教程][Link 1] https://www.piaodoo.com/

**方法一：手动计算变量的梯度，然后更新梯度**

import torch
    from torch.autograd import Variable
    # 定义参数
    w1 = Variable(torch.FloatTensor([1,2,3]),requires_grad = True)
    # 定义输出
    d = torch.mean(w1)
    # 反向求导
    d.backward()
    # 定义学习率等参数
    lr = 0.001
    # 手动更新参数
    w1.data.zero_() # BP求导更新参数之前,需先对导数置0
    w1.data.sub_(lr*w1.grad.data)

一个网络中通常有很多变量,如果按照上述的方法手动求导,然后更新参数,是很麻烦的,这个时候可以调用torch.optim

**方法二：使用torch.optim**

import torch
    from torch.autograd import Variable
    import torch.nn as nn
    import torch.optim as optim
    # 这里假设我们定义了一个网络,为net
    steps = 10000
    # 定义一个optim对象
    optimizer = optim.SGD(net.parameters(), lr = 0.01)
    # 在for循环中更新参数
    for i in range(steps):
     optimizer.zero_grad() # 对网络中参数当前的导数置0
     output = net(input) # 网络前向计算
     loss = criterion(output, target) # 计算损失
     loss.backward() #　得到模型中参数对当前输入的梯度
     optimizer.step() # 更新参数

**注意：**torch.optim只用于参数更新和对参数的梯度置０，不能计算参数的梯度，在使用torch.optim进行参数更新之前，需要写前向与反向传播求导的代码

以上这篇Pytorch反向求导更新网络参数的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持菜鸟教程www.piaodoo.com。

[Link 1]: https://www.piaodoo.com/

发表评论取消回复

表情：

评论列表（有 0 条评论，201人围观）

还没有评论，来说两句吧...

相关阅读

相关 pytorch入门9--自动求导和神经网络

深度学习网上自学学了10多天了，看了很多大神的课总是很快被劝退。终于，遇到了一位对小白友好的刘二大人，先附上链接，需要者自取：https://b23.tv/7WhXnRb

谁借莪１个温暖的怀抱￠/ 2024年03月26日 16:38/ 0 赞/ 82 阅读

相关 Pytorch自动求导机制详解

目录 1. 自动求导 1.1 梯度计算 1.1.1 一阶导数 1.1.2 二阶导数 1.1.3 向量 1.2 线性回归实战 ----------------

蔚落/ 2023年10月13日 19:28/ 0 赞/ 69 阅读

相关两层神经网络的参数求导过程

假设输入数据 x ∈ R n x\\in\\mathbb\{R\}^n x∈Rn，两层神经网络有以下形式： ![在这里插入图片描述][687e51fbf07e48f18f3

﹏ヽ暗。殇╰゛Y/ 2023年10月09日 17:54/ 0 赞/ 66 阅读

相关卷积层如何反向求导

通常我们在进行卷积的运算时，只考虑正向运算，似乎我们对卷积的正向运算非常了解。但是机器学习或者是深度学习的关键在于参数优化，而优化势必要反向运算，即损失函数对各个层级的参数进行

末蓝、/ 2023年07月18日 14:01/ 0 赞/ 23 阅读

相关反向传播、链式求导

![20191009191333910.png][] [日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Pa

今天药忘吃喽~/ 2023年07月03日 12:22/ 0 赞/ 18 阅读

相关 Pytorch反向求导更新网络参数的方法

更多python教程请到： [菜鸟教程][Link 1] https://www.piaodoo.com/ 方法一：手动计算变量的梯度，然后更新梯度 im

àì夳堔傛蜴生んèń/ 2023年01月10日 05:03/ 0 赞/ 202 阅读

相关 PyTorch自动求导

标量反向传播 > 当目标张量为标量时，backward()无需传入参数。例子：假设 w , x , b w,x,b w,x,b都是标量， z = w x + b

雨点打透心脏的1/2处/ 2022年12月20日 14:55/ 0 赞/ 228 阅读

相关神经网络常见的求导！

> 点击“机器学习与生成对抗网络”，关注星标 > > > 获取有趣、好玩的前沿干货！作者：Criss 地址：https://www.meltycriss.c

清疚/ 2022年11月07日 11:51/ 0 赞/ 177 阅读

相关 Pytorch中的自动求导函数backward()所需参数含义

[https://www.cnblogs.com/JeasonIsCoding/p/10164948.html][https_www.cnblogs.com_JeasonIsC

待我称王封你为后i/ 2022年01月15日 00:47/ 0 赞/ 314 阅读

相关 pytorch自动求导

自动求导属性 import torch 设置自动求导 a = torch.rand((2,4), requires_grad=True)

爱被打了一巴掌/ 2021年10月19日 03:14/ 0 赞/ 389 阅读