PyTorch深度学习入门 Tensor基础 1.2 Autograd 3. 前向传播 4. 反向传播 5. 非标量输出

深碍√TFBOYSˉ_ 2024-03-27 17:18 97阅读 0赞

#### PyTorch深度学习入门 ####

![在这里插入图片描述][f45fe346bbc94a2195f91d0fa33f7265.png_pic_center]

##### Tensor基础 #####

###### 3. 前向传播 ######

Autograd技术可以帮助我们从叶子节点开始追踪信息流，记下整个过程使用的函数，直到输出节点，这个过程被称为前向传播。

【接下来我们用代码复现之前的求解过程】

![在这里插入图片描述][892c4df44336494fbc38126d9e58097e.png_pic_center]

默认情况下，Tensor的requires\_grad属性为False。因为我们要让PyTorch自动帮我们计算 x ⃗ \\vec\{x\} x的微分值，所以将 x ⃗ \\vec\{x\} x的requires\_grad属性设为True：

![在这里插入图片描述][8633b94f640f48dc8d4788e00525a8f3.png_pic_center]

此时 x ⃗ \\vec\{x\} x的grad属性和grad\_fn属性均为空值：

![在这里插入图片描述][4cfdd2138dc34a3b8605d3206efc4f15.png_pic_center]

> 【复习一下】
> 
>  *  requires\_grad属性是一个布尔值，默认为False。当requires\_grad为True时，表示该Tensor需要自动微分。
>  *  grad属性用于存储Tensor的微分值。
>  *  grad\_fn属性用于存储Tensor的微分函数。

接下来，让 x ⃗ \\vec\{x\} x 乘以4 得到  z ⃗ \\vec\{z\} z ，

![在这里插入图片描述][d2c36439e61345cba74a7c4f69c4696d.png_pic_center]

可以看到， z ⃗ \\vec\{z\} z的grad\_fn为<MulBackward>函数：

grad\_fn是微分函数，这里是乘法的反向函数。最后我们用norm()函数求  z ⃗ \\vec\{z\} z 的长度得到y：

![在这里插入图片描述][67b49a652bf742068ed73a9d7642f3b2.png_pic_center]

###### 4. 反向传播 ######

接下来，调用输出节点的backward()函数对整个图进行反向传播，求出微分值：

![在这里插入图片描述][3fe2ffe050204b34a0ded1f99aee44ac.png_pic_center]

运行完backward()函数后可以发现， x ⃗ \\vec\{x\} x的grad属性更新为  x ⃗ \\vec\{x\} x 的微分值。这个微分值与我们通过人工计算的结果一致。再查看一下  z ⃗ \\vec\{z\} z 和y的grad值，发现并没有改变，因为它们都不是叶子节点：

![在这里插入图片描述][3145c1305ae548e689a53c6b201e9360.png_pic_center]

###### 5. 非标量输出 ######

上面的栗子中，输出节点是一个标量，当输出节点为非标量时，使用backward() 函数需要增加一个参数 gradient。

gradient的形状应该与输出节点的形状保持一致且元素值均为1。

初始化矩阵  X X X 和向量  z ⃗ \\vec\{z\} z ，并将矩阵与向量相乘，得到形状为 2x1 的向量  y ⃗ \\vec\{y\} y

![在这里插入图片描述][39a016373baf442ea6f99d1565592b7e.png_pic_center]

此时，调用  y ⃗ \\vec\{y\} y 的backward()函数时，需要传人一个形状与的形状一样且元素全为1的向量：

![在这里插入图片描述][9db45388d3b940faacfb2872cac9c71e.png_pic_center]

这个结果正确吗？

验证一下：

设  y ⃗ = \[ y 1 y 2 \] , X = \[ x 1 x 2 x 3 x 4 \] \\vec\{y\}=\\left\[\\begin\{array\}\{l\}y\_1 \\\\ y\_2\\end\{array\}\\right\], \\boldsymbol\{X\}=\\left\[\\begin\{array\}\{ll\}x\_1 & x\_2 \\\\ x\_3 & x\_4\\end\{array\}\\right\] y=\[y1y2\],X=\[x1x3x2x4\],  z ⃗ = \[ 1 1 \] \\vec\{z\}=\\left\[\\begin\{array\}\{l\}1 \\\\ 1\\end\{array\}\\right\] z=\[11\], 即  y 1 = x 1 + x 2 , y 2 = x 3 + x 4 y\_1=x\_1+x\_2, y\_2=x\_3+x\_4 y1=x1\+x2,y2=x3\+x4 。上例可以看作  y ⃗ \\vec\{y\} y 中的元素分别对  X \\boldsymbol\{X\} X 进行了两次自动微分: 第 一次是  y 1 y\_1 y1 关于  X \\boldsymbol\{X\} X 的微分, 即  \[ 1 1 0 0 \] \\left\[\\begin\{array\}\{ll\}1 & 1 \\\\ 0 & 0\\end\{array\}\\right\] \[1010\]; 第二次是  y 2 y\_2 y2 关于  X \\boldsymbol\{X\} X 的微分, 即  \[ 0 0 1 1 \] \\left\[\\begin\{array\}\{ll\}0 & 0 \\\\ 1 & 1\\end\{array\}\\right\] \[0101\] 。所以, 最后的结果为两次微分之和为  \[ 1 1 1 1 \] \\left\[\\begin\{array\}\{ll\}1 & 1 \\\\ 1 & 1\\end\{array\}\\right\] \[1111\] 。 【证毕】

[f45fe346bbc94a2195f91d0fa33f7265.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/24585afa31f94fc58fdace546c2a3b24.png
[892c4df44336494fbc38126d9e58097e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/71444138a24d4503bde304f2798491b6.png
[8633b94f640f48dc8d4788e00525a8f3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/0779669e989b4be0bb982ef1b539cacf.png
[4cfdd2138dc34a3b8605d3206efc4f15.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d5962837ee2b4924aa76305005fbab6e.png
[d2c36439e61345cba74a7c4f69c4696d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/8468ab0c107e41e5ba6ee7e4521ba437.png
[67b49a652bf742068ed73a9d7642f3b2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/472f55074f214eaab14e6bec817300b9.png
[3fe2ffe050204b34a0ded1f99aee44ac.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e3a5f39ea9dc457a841d8144ca6961af.png
[3145c1305ae548e689a53c6b201e9360.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/deb5bc92122c4744ad72ce4487ab6616.png
[39a016373baf442ea6f99d1565592b7e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/9af9bfbb110e4d67a6e89ba843734711.png
[9db45388d3b940faacfb2872cac9c71e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/c205e4220f5e4e61a63f55d52bc32ae7.png