Pytorch：Tensor基本运算【add/sub/mul/div：加减乘除】【mm/matmul：矩阵相乘】【Pow/Sqrt/rsqrt：次方】【近似：floor...】【裁剪：clamp】

不念不忘少年蓝@ 2023-09-30 08:49 8阅读 0赞

## 一、基本运算：加减乘除 ##

### 1、乘法 ###

#### 1.1 a \* b：element-wise 对应元素相乘 ####

a \* b：要求两个矩阵维度完全一致，即两个矩阵对应元素相乘，输出的维度也和原矩阵维度相同

#### 1.2 torch.mul(a, b)：element-wise 对应元素相乘 ####

torch.mul(a, b)：是矩阵a和b对应位相乘，a和b的维度必须相等，比如a的维度是(1, 2)，b的维度是(1, 2)，返回的仍是(1, 2)的矩阵

#### 1.3 torch.mm(a,b)：只能用于二维矩阵 ####

torch.mm(a,b)，要求两个矩阵维度是（n×m）和（m×p），即普通二维矩阵乘法

#### 1.4 torch.matmul(a,b)：可用于多维矩阵（只取最后2个维度做矩阵乘法）（适用broadcast机制） ####

torch.matul(a,b)，matmul可以进行张量乘法，输入可以是高维，当输入是多维时，把多出的一维作为batch提出来，其他部分做矩阵乘法

重载运算符：@

其实就是支持多个矩阵对的并行相乘

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16]

## 二、Pow ##

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_12_color_FFFFFF_t_70_g_se_x_16]

## 三、exp ##

![在这里插入图片描述][06b017d964a24faba76128fac51530c9.png]

## 四、log ##

![在这里插入图片描述][dd339af401dd45708ac84c97fcb0ae7d.png]

## 五、近似 ##

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16 1]

## 六、裁剪：clamp ##

梯度的模一般小于10合适，如果是>100了，则太大了，需要梯度裁剪。

梯度的模：W.grad.norm(2)

grad.clamp(10)：表示将元素种小于10的元素都置为10  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16 2]

--------------------

参考资料：  
[pytorch中tensor的加减乘除和常见操作][pytorch_tensor]  
[Pytorch Tensor基本数学运算][Pytorch Tensor]

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/edfb0a93c5594ff9bdc263200161747c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_12_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/33e8e033121a4301bd40b4495adef9fc.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_12,color_FFFFFF,t_70,g_se,x_16
[06b017d964a24faba76128fac51530c9.png]: https://img-blog.csdnimg.cn/06b017d964a24faba76128fac51530c9.png
[dd339af401dd45708ac84c97fcb0ae7d.png]: https://img-blog.csdnimg.cn/dd339af401dd45708ac84c97fcb0ae7d.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/7c70d5ad2b13496ab36d6023c3a6b7c1.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/7bf12bea1ed74fb7ade544639fb5a85d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16
[pytorch_tensor]: https://blog.csdn.net/lijiaming_99/article/details/114642093
[Pytorch Tensor]: https://blog.csdn.net/weicao1990/article/details/93738722?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.control