向量与矩阵导数和偏导数特征值与特征向量概率分布期望方差相关系数

素颜马尾好姑娘i 2023-10-04 21:22 6阅读 0赞

#### 文章目录 ####

*  向量与矩阵
 *   *  标量、向量、矩阵、张量
     *  向量范数和矩阵的范数
 *  导数和偏导数
 *  特征值和特征向量
 *  概率分布
 *   *  伯努利分布
     *  正态分布（高斯分布）
     *  指数分布
 *  期望、⽅差、协⽅差、相关系数
 *   *  期望
     *  方差
     *  协⽅差
     *  相关系数

## 向量与矩阵 ##

### 标量、向量、矩阵、张量 ###

*  **标量（scalar）**：一个单独的数。
 *  **向量（vector）**：⼀组有序排列的数。通过次序中的索引，我们可以确定每个单独的数。
 *  **矩阵（matrix）**：具有相同特征和纬度的对象的集合。⼀个对象表⽰为矩阵中的⼀⾏，⼀个特征表⽰为矩阵中的⼀列，表现为⼀张⼆维数据表。
 *  **张量（tensor）**：一个多维数组，⼀个数组中的元素分布在若⼲维坐标的规则⽹格中，我们将其称之为张量。

![在这里插入图片描述][cf97d23e0701414cab3222a31258e6d5.png]

### 向量范数和矩阵的范数 ###

向量范数

设一个向量![在这里插入图片描述][a8c1bc084b6c44a2b675f7f386fd9809.png]，不同范数表示如下：

*  **向量的1范数**：向量的各个元素的绝对值之和  
    ![在这里插入图片描述][f566a41862aa47c8985090a858430911.png]
 *  **向量的2范数**：向量的每个元素的平⽅和再开平⽅根  
    ![在这里插入图片描述][a85cfdb8d2af4ae2a7d08c4d182f5555.png]
 *  **向量的负⽆穷范数**：向量的所有元素的绝对值中最小的  
    ![在这里插入图片描述][ac6f5361c66d4a11a5a69c0e656a9628.png]
 *  **向量的正⽆穷范数**：向量的所有元素的绝对值中最大的  
    ![在这里插入图片描述][1c20792b851b4a8dbeffad056c2a62a6.png]
 *  **向量的p范数**：  
    ![在这里插入图片描述][139c5ea1e81441e2851d13ede792d6fc.png]

矩阵范数

设矩阵定义为**Amxn**，其元素为aij。

*  **矩阵的1范数（列范数）**：矩阵的每⼀列上的元素绝对值先求和，再从中取个最⼤的,（列和最⼤）。  
    ![在这里插入图片描述][243363da0d3e4854947f6dd6ff731c4a.png]
 *  **矩阵的2范数**：矩阵**ATA**的最大特征值开平方根。  
    ![在这里插入图片描述][8069b7fbc0a341d3b54eb7b27f6a1c4d.png]
 *  **矩阵的⽆穷范数（⾏范数）**：矩阵的每⼀⾏上的元素绝对值先求和，再从中取个最⼤的，（⾏和最⼤）。  
    ![在这里插入图片描述][cde5333cb031484fbd1d29472f4b58b6.png]
 *  **矩阵的L0范数**：矩阵的⾮0元素的个数
 *  **矩阵的L1范数**: 矩阵中的每个元素绝对值之和
 *  **矩阵的F范数**: 矩阵的各个元素平⽅之和再开平⽅根，它通常也叫做矩阵的L2范数。  
    ![在这里插入图片描述][41a7394961514209898906c853114242.png]
 *  **矩阵的p范数**:  
    ![在这里插入图片描述][337291c39ca849a8acb0104f86fee3f7.png]

## 导数和偏导数 ##

**导数**代表了在⾃变量变化趋于⽆穷⼩的时候，函数值的变化与⾃变量的变化的⽐值。⼏何意义是这个点的**切线**。物理意义是该时刻的（瞬时）**变化率**。

![在这里插入图片描述][1163804aaef244ada20d75274ec7ef95.png]

**偏导数**就是指多元函数沿着坐标轴的变化率。  
![在这里插入图片描述][5f79f4f7f4fc491eaec5a608d7a0e5cd.png]

## 特征值和特征向量 ##

特征值表⽰的是这个特征到底有多重要，⽽特征向量表⽰这个特征是什么。

如果说⼀个向量ν是矩阵A的特征向量，将⼀定可以表⽰成下⾯的形式：  
![在这里插入图片描述][860e84159c194abcaeb13c9c3b71c2c7.png]  
λ为特征向量ν对应的特征值。即矩阵A的信息可以由其特征值和特征向量表⽰。

## 概率分布 ##

### 伯努利分布 ###

![在这里插入图片描述][9f52f836c5d24c958ba12ae44760d238.png]  
期望：φ， 方差：φ（1-φ）

### 正态分布（高斯分布） ###

![在这里插入图片描述][36cb9d0f14ff4dbe8ce0825cc2fa178c.png]  
期望：μ， 方差：φ

> 缺乏实数上分布的先验知识, 不知选择何种形式时, 默认选择正态分布。

### 指数分布 ###

深度学习中, 指数分布⽤来描述在 点处取得边界点的分布：  
![在这里插入图片描述][db21aa1bfac742f49b080810f929a89a.png]

## 期望、⽅差、协⽅差、相关系数 ##

### 期望 ###

数学期望是试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的⼤⼩。

![在这里插入图片描述][d8f0c4884f41476db8c369a2b356605c.png]

*  离散函数  
    ![在这里插入图片描述][aca31c8ca0be406aa6109fce0219673b.png]
 *  连续函数  
    ![在这里插入图片描述][7bc6ab22f2774ec8a3b0515206a929e0.png]

### 方差 ###

⽅差⽤来度量随机变量和其数学期望之间的偏离程度。  
![在这里插入图片描述][9be7ec25d8984eda99099e6223dcd4b9.png]

### 协⽅差 ###

协⽅差是衡量两个变量线性相关性强度及变量尺度。  
![在这里插入图片描述][5b99d3174910451e8469216ed1c76ae9.png]

### 相关系数 ###

相关系数是研究变量之间线性相关程度的量。  
![在这里插入图片描述][6f10eb3550bf4f449f1d907eab3a4b99.png]

[cf97d23e0701414cab3222a31258e6d5.png]: https://img-blog.csdnimg.cn/cf97d23e0701414cab3222a31258e6d5.png
[a8c1bc084b6c44a2b675f7f386fd9809.png]: https://img-blog.csdnimg.cn/a8c1bc084b6c44a2b675f7f386fd9809.png
[f566a41862aa47c8985090a858430911.png]: https://img-blog.csdnimg.cn/f566a41862aa47c8985090a858430911.png
[a85cfdb8d2af4ae2a7d08c4d182f5555.png]: https://img-blog.csdnimg.cn/a85cfdb8d2af4ae2a7d08c4d182f5555.png
[ac6f5361c66d4a11a5a69c0e656a9628.png]: https://img-blog.csdnimg.cn/ac6f5361c66d4a11a5a69c0e656a9628.png
[1c20792b851b4a8dbeffad056c2a62a6.png]: https://img-blog.csdnimg.cn/1c20792b851b4a8dbeffad056c2a62a6.png
[139c5ea1e81441e2851d13ede792d6fc.png]: https://img-blog.csdnimg.cn/139c5ea1e81441e2851d13ede792d6fc.png
[243363da0d3e4854947f6dd6ff731c4a.png]: https://img-blog.csdnimg.cn/243363da0d3e4854947f6dd6ff731c4a.png
[8069b7fbc0a341d3b54eb7b27f6a1c4d.png]: https://img-blog.csdnimg.cn/8069b7fbc0a341d3b54eb7b27f6a1c4d.png
[cde5333cb031484fbd1d29472f4b58b6.png]: https://img-blog.csdnimg.cn/cde5333cb031484fbd1d29472f4b58b6.png
[41a7394961514209898906c853114242.png]: https://img-blog.csdnimg.cn/41a7394961514209898906c853114242.png
[337291c39ca849a8acb0104f86fee3f7.png]: https://img-blog.csdnimg.cn/337291c39ca849a8acb0104f86fee3f7.png
[1163804aaef244ada20d75274ec7ef95.png]: https://img-blog.csdnimg.cn/1163804aaef244ada20d75274ec7ef95.png
[5f79f4f7f4fc491eaec5a608d7a0e5cd.png]: https://img-blog.csdnimg.cn/5f79f4f7f4fc491eaec5a608d7a0e5cd.png
[860e84159c194abcaeb13c9c3b71c2c7.png]: https://img-blog.csdnimg.cn/860e84159c194abcaeb13c9c3b71c2c7.png
[9f52f836c5d24c958ba12ae44760d238.png]: https://img-blog.csdnimg.cn/9f52f836c5d24c958ba12ae44760d238.png
[36cb9d0f14ff4dbe8ce0825cc2fa178c.png]: https://img-blog.csdnimg.cn/36cb9d0f14ff4dbe8ce0825cc2fa178c.png
[db21aa1bfac742f49b080810f929a89a.png]: https://img-blog.csdnimg.cn/db21aa1bfac742f49b080810f929a89a.png
[d8f0c4884f41476db8c369a2b356605c.png]: https://img-blog.csdnimg.cn/d8f0c4884f41476db8c369a2b356605c.png
[aca31c8ca0be406aa6109fce0219673b.png]: https://img-blog.csdnimg.cn/aca31c8ca0be406aa6109fce0219673b.png
[7bc6ab22f2774ec8a3b0515206a929e0.png]: https://img-blog.csdnimg.cn/7bc6ab22f2774ec8a3b0515206a929e0.png
[9be7ec25d8984eda99099e6223dcd4b9.png]: https://img-blog.csdnimg.cn/9be7ec25d8984eda99099e6223dcd4b9.png
[5b99d3174910451e8469216ed1c76ae9.png]: https://img-blog.csdnimg.cn/5b99d3174910451e8469216ed1c76ae9.png
[6f10eb3550bf4f449f1d907eab3a4b99.png]: https://img-blog.csdnimg.cn/6f10eb3550bf4f449f1d907eab3a4b99.png