pytorch中的Autograd(自动微分)

短命女 2023-07-07 08:03 2阅读 0赞

## Autograd主要实现反向传播求导数，避免手动计算导数的复杂过程 ##

### 1. autograd.Variable是Autograd中的核心类，它是Tensor的简单封装，并支持Tensor的所有操作。Tensor在被封装为Variable之后，可以调用它的 **.backward()**实现反向传播，自动计算所有梯度。 ###

例如：

import torch as t
    import numpy as np
    from torch.autograd import Variable
    x=Variable(t.ones(2,2),requires_grad=True)    #Variable对Tensor的封装
    print(x)
    
    
    #输出
    tensor([[1., 1.],
            [1., 1.]], requires_grad=True)

### 2. Variable主要包含三个属性： ###

*  data :保存Variable所包含的Tensor
 *  grad：保存data的梯度，grad也是个Variable，而不是Tensor，它和data的形状一样
 *  grad\_fn：指向一个Function对象，这个Function对象用来反向转播计算输入的梯度

例如：

x=Variable(t.ones(2,2),requires_grad=True)
    # print(x)
    y=x.sum()
    
    y.backward()    #反向传播，计算梯度
    print(x.grad)   #得到x的梯度，    注意：grad在反向传播过程中是可以累积的，
                    # 所以在反向传播之前最好先把梯度清零
    
    y.backward()    #反向传播，计算梯度
    print('第二次反向传播计算的梯度：',x.grad)
    
    x.grad.data.zero_()  #反向传播前，梯度置零//或者调用 x.grad.zero_()
    y.backward()
    print('第三次反向传播计算的梯度：',x.grad)
    
    #输出
    tensor([[1., 1.],
            [1., 1.]])
    第二次反向传播计算的梯度： tensor([[2., 2.],
            [2., 2.]])
    第三次反向传播计算的梯度： tensor([[1., 1.],
            [1., 1.]])

### 3. Variable和Tensor之间的无缝切换 ###

例如：

import torch as t
    from torch.autograd import Variable
    
    x=Variable(t.ones(2,3))
    y=t.cos(x)  #这里是有一个将Variable切换到Tensor的过程
    x_tensor_cos=t.cos(x.data)  #计算Tensor类型的数据
    
    print(y)
    print(x_tensor_cos)
    
    #结果
    tensor([[0.5403, 0.5403, 0.5403],
            [0.5403, 0.5403, 0.5403]])
    tensor([[0.5403, 0.5403, 0.5403],
            [0.5403, 0.5403, 0.5403]])

可以看出，用同样的算式计算不同类型的数据，结果是一样的。