如何通俗的理解协方差、相关系数？

旧城等待， 2022-09-15 14:48 142阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

来源：硬数据 侵删

#     #

# **Part1 方差** #

之前介绍了方差是用来刻画数据波动性的统计量，**那么协方差就是描述两个变量之间的变动关系。**

通俗地理解为：**两个变量是同向变化？还是反向变化？同向或反向程度有多少？**

> X变大，Y也变大，说明两个变量是同向变化的，这时协方差就是正的。
> 
> X变大，Y变小，说明两个变量是反向变化的，这时协方差就是负的。
> 
> 并且从数值大小来看，协方差的绝对值越大，则两个变量同向或反向的程度也越大，即有较强的相关。

![4c39c05be02f28c0018f15f0c4edca8e.png][]

公式的计算很简单，每个X与其均值之差乘以Y与其均值之差得到一个乘积，再将其都加起来求个均值即可。

比如有两个变量X,Y，观察7个样本，画出他们的变化情况，并且很明显是同向变化的。

![9f8a756e5714a5df5808a410d658e29d.png][]

可以发现每一时刻的值与的值的正负号相同（比如t1时刻，他们同为正，t2时刻他们同为负）：

![4ff2ed984ae68f034b46a5378332dd5e.png][]

于是当他们同向变化时，与的乘积为正。这样，当你把7个时刻的乘积加在一起，求平均后也就是正数了。

如果**反向运动**：

![8c219f88a14a1060c5ba3ee36f940561.png][]

很明显，的值与的值的正负号相反，于是其乘积就是负值，计算出来的协方差也就是负数了。

上面说的两种情况比较特殊，很多时候XY两个变量的变动没有规律，比如：

![2efc355a9992dcdce64cb07cb4170ddd.png][]![4d8b5fb043e1b4af6a3315db6bf35ddd.png][]

这种情况下某些的值与的值乘积为正，某些的值与的值乘积为负。

加在一起后，其中的一些正负项就会抵消掉，最后平均得出的值就是协方差，通过协方差的数值大小，就可以判断这两个变量同向或反向的程度了。

所以，在7个样本中，与的乘积为正的越多，说明同向变化的次数越多，亦即同向程度越高，反之亦然。

总而言之，

> 若协方差为正，则X和Y同向变化；
> 
> 反之协方差为负，则反向变化；
> 
> 协方差绝对值越大表示同向或反向的程度越深。

其实方差也是一种特殊的协方差，只不过是X和X之间的协方差。

#     #

# **Part2 相关系数** #

相关系数的公式为：

其实就是用X、Y的协方差除以X和Y的标准差。

所以相关系数可以看成剔除了两个变量单位的影响、标准化后的特殊协方差。它可以反映两个变量变化是同向还是反向的，同向为正，反向为负。

并且它又是标准化后的协方差，则它出现最重要的目的来了，就是消除两个变量单位的影响，使得不同变量的相关系数之间具有可比性。

比如下面两种情况，关注一下纵轴的刻度：

![7712bf02c90649c28324f5e546f1379c.png][]

很容易可以看出两种情况下X和Y都是同向变化的，并且它们变化的方式都大致相同，在特定的样本点同为正或同为负，那么它们理应具有相同的相关关系。于是可以计算一下他们的协方差：

**第一种情况下：**

\[(100-0)×(70-0)+(-100-0)×(-70-0)+(-200-0)×(-200-0)…\]÷7≈15428.57

**第二种情况下：**

\[(0.01-0)×(70-0)+(-0.01-0)×(-70-0)+(-0.02-0)×(-200-0)…\]÷7≈1.542857

协方差差了一万倍，只能看出两种情况都是正相关的，但是我们能说第一种情况就相关性更强吗？

在上面两种情况中，虽然X和Y的变化方向都相同，但是每次变化的幅度不相同，主要原因是单位的不一致引起的。

所以，为了能准确比较两个变量的相关程度，我们就要把变化幅度对协方差的影响中剔除掉，也就是要去掉单位的影响，于是就要使用相关系数。

那么如何剔除变量变化幅度的影响呢？很自然的就应该使用前面提到的方差和标准差了！

相关系数是协方差除以标准差，当X或Y的波动变大的时候，它们的协方差会变大，标准差也会变大，这样相关系数的分子分母都变大，相互抵消，变小时也亦然。

于是相关系数不像协方差一样可以在实数域上取值，它只能在＋1到－1之间变化，具体为什么是+1和-1，可以自行Google柯西-斯瓦茨不等式。

总之，对于两个变量X、Y，

> 当他们的相关系数为1时，说明两个变量线性相关程度最大，两个变量存在线性关系。
> 
> 随着相关系数减小，两个变量相关程度也变小。
> 
> 当相关系数为0时，两个变量的线性无关，但要注意，无关不一定独立。
> 
> 当相关系数继续变小，小于0时，两个变量开始出现反向相关。
> 
> 当相关系数为－1时，说明两个变量线性相关程度也最强，不过是相反的线性相关，反相变化。

让我们再回到前面X和Y的例子，用相关系数来衡量相关程度：

X的标准差为

![a7e3e1787dc6906d58db4f84efa7e60a.png][]

Y的标准差为

![f0729490df1641dd9431cc74cb12bbc0.png][]

于是相关系数为

![a03a9d1051df104c60d66db543779cfa.png][]

说明第一种情况下，X和Y有极强的相关性，几乎是线性相关。

那第二种情况：

X的标准差为

![bebb448b63973e8a6bda9b3e66f924e9.png][]

Y的标准差为

![091742b873f5f2b7912364f0b1e039c7.png][]

于是相关系数为

![eb82c8ab33f4c8a275b8d3a7c340911e.png][]

在第二种情况下，X的标准差较第一种小了10000倍，即变化幅度小了，但是并不改变X和Y线性高度相关的事实。

两种情况的相关系数相等，X和Y具有相同的相关性，故而使用相关系数来衡量和比较相关性，要比协方差合适很多。

在第二种情况下，X的标准差较第一种小了10000倍，即变化幅度小了，但是并不改变X和Y线性高度相关的事实。

**两种情况的相关系数相等，X和Y具有相同的相关性，故而使用相关系数来衡量和比较相关性，要比协方差合适很多。**

**猜您喜欢：**

[**等你着陆！【GAN生成对抗网络】知识星球！**][GAN]

[**CVPR 2021专题1：GAN的改进**][CVPR 2021_1_GAN]

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][_ _100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![c0bc3af67a957f681a63030ee55873eb.png][]

[4c39c05be02f28c0018f15f0c4edca8e.png]: /images/20220828/8cd8907f65064094b3a44120d1e27bdf.png
[9f8a756e5714a5df5808a410d658e29d.png]: /images/20220828/78fdff06e334499eb7c369a085c792da.png
[4ff2ed984ae68f034b46a5378332dd5e.png]: /images/20220828/8b7bbb8e602343cebd06b6d2c2050849.png
[8c219f88a14a1060c5ba3ee36f940561.png]: /images/20220828/6667708845124e8ca936fe9cf052597a.png
[2efc355a9992dcdce64cb07cb4170ddd.png]: https://img-blog.csdnimg.cn/img_convert/2efc355a9992dcdce64cb07cb4170ddd.png
[4d8b5fb043e1b4af6a3315db6bf35ddd.png]: /images/20220828/d62c0c13d5034074ae110d5989afc2af.png
[7712bf02c90649c28324f5e546f1379c.png]: /images/20220828/0517315fc4b2476fa4ed104e2c67ff0c.png
[a7e3e1787dc6906d58db4f84efa7e60a.png]: /images/20220828/49cf80f7035849e4b297df6c02d582d7.png
[f0729490df1641dd9431cc74cb12bbc0.png]: /images/20220828/826622ab9d694226974adb862b69db57.png
[a03a9d1051df104c60d66db543779cfa.png]: /images/20220828/a5a2129d3f21470d9dc1e792b7f9fbe6.png
[bebb448b63973e8a6bda9b3e66f924e9.png]: /images/20220828/807c8e2d91994865baf53bb68278432d.png
[091742b873f5f2b7912364f0b1e039c7.png]: /images/20220828/6a713cb7c65a43b082287b26cbf438c6.png
[eb82c8ab33f4c8a275b8d3a7c340911e.png]: /images/20220828/54635d8cbe3b4b79b5b3d466ae834171.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247493528&idx=1&sn=a6ad486ec02f36c97bc9a7c86f986765&chksm=fe2a4523c95dcc3526ebf62751f7a8f319082ed358f3a8c37e98188206f7d71daf2885028bf9&scene=21#wechat_redirect
[CVPR 2021_1_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247493902&idx=1&sn=14c01f114bd69bd6a94adf79296009c8&chksm=fe2a4bb5c95dc2a3c7ea2f02e430cd72ee4a200552cc74e323c0a3b6eac891c923e9b10d14ba&scene=21#wechat_redirect
[CVPR 2021 _ GAN_3D]: https://blog.csdn.net/moxibingdao/article/details/116773486
[CVPR 2021 _ _ _GAN]: https://blog.csdn.net/moxibingdao/article/details/115410691
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247491634&idx=1&sn=427cb6bfd6868662f2b5ae1ac37f6072&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&scene=21#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490911&idx=1&sn=671926492c3b36e3350db4963f7fcb16&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&scene=21#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490656&idx=2&sn=bbe156fef077f23263b57e506ad43314&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&scene=21#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490498&idx=1&sn=324cfbbde362a728aa5336f4b200f7a3&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&scene=21#wechat_redirect
[100_CVPR 2020_GAN]: https://blog.csdn.net/lgzlgz3102/article/details/107075585
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485709&idx=2&sn=55a51c98ab48f393ba305c082ba0e4fe&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&scene=21#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485091&idx=2&sn=f569d5d70c2e6c9cc567fbc5147787a4&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&scene=21#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485635&idx=2&sn=90608bce32fe353cf3c64b39e3406bc3&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&scene=21#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247484959&idx=2&sn=563999cc8d48498beed00270844ceec4&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247484929&idx=1&sn=523220858287ed3e6105919703c8e833&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&scene=21#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485195&idx=2&sn=e3387067db29d1759755c6c2ea96c870&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&scene=21#wechat_redirect
[_ _100_CVPR 2020_GAN]: https://blog.csdn.net/lgzlgz3102/article/details/114860515
[Link 2]: https://blog.csdn.net/Yong_Qi2015/article/details/111714078
[c0bc3af67a957f681a63030ee55873eb.png]: /images/20220828/72bd80debdcf4ef881324b46dd38ebf2.png