理解：为什么L1正则先验分布是Laplace分布，L2正则先验分布是Gaussian分布

小灰灰 2022-02-26 11:46 203阅读 0赞

原址 [https://blog.csdn.net/m0\_38045485/article/details/82147817][https_blog.csdn.net_m0_38045485_article_details_82147817]

# L1、L2正则化来源推导 #

L1L2的推导可以从两个角度：

*  带**约束条件**的优化求解（拉格朗日乘子法）
 *  贝叶斯学派的：最大后验概率

## 1.1 基于约束条件的最优化 ##

对于模型权重系数w的求解释通过最小化目标函数实现的，也就是求解：

![70][]

首先，模型的复杂度可以用VC来衡量。通常情况下，模型VC维与系数w的个数成线性关系：即：

w数量越多，VC越大，模型越复杂

为了限制模型的复杂度，我们要降低VC，自然的思路就是降低w的数量，即：

让w向量中的一些元素为0或者说限制w中非零元素的个数。我们可以在原优化问题上加入一些优化条件：

![70 1][]

其中约束条件中的||w||0是指L0范数，表示的是向量w中非零元素的个数，让非零元素的个数小于某一个C，就能有效地控制模型中的非零元素的个数，但是这是一个NP问题，不好解，于是我们需要做一定的“松弛”。为了达到我们想要的效果（权重向量w中尽可能少的非零项），我们不再严格要求某些权重w为0，而是要求权重w向量中某些维度的非零参数尽可能接近于0，尽可能的小，这里我们可以使用L1L2范数来代替L0范数，即：

![70 2][]

注意哈：这里使用L2范数的时候，为了后续处理（其实就是为了优化），可以对![\\left \\| w \\right \\|\_\{2\}][left _ w _right _2]进行平方，只需要调整C的取值即可。

然后我们利用拉式乘子法求解：

![70 3][]

其中这里的![\\alpha][alpha]是拉格朗日系数，![\\alpha][alpha]>0，我们假设![\\alpha][alpha]的最优解为![\\alpha ^\{\*\}][alpha 1]，对拉格朗日函数求最小化等价于：

![70 4][]

上面和

![70 5][]

等价。所以我们这里得到对L1L2正则化的第一种理解：

L1正则化 ![\\LARGE \\rightleftharpoons][LARGE _rightleftharpoons] 在**原优化目标函数**中增加**约束条件**![\\left \\| w \\right \\|\_\{1 \}\\leq C][left _ w _right _1 _leq C]

L2正则化 ![\\LARGE \\rightleftharpoons][LARGE _rightleftharpoons] 在**原优化目标函数**中增加**约束条件**![\\left \\| w \\right \\|\{\_\{2\}^\{2\}\}\\leq C][left _ w _right _2_2_leq C]

## 1.1 基于最大后验概率估计 ##

在最大似然估计中，是假设权重**w是未知的参数**，从而求得**对数似然函数**（取了log）：

![70 6][]

从上式子可以看出：假设![y^\{i\}][y_i]的不同概率分布，就可以得到不同的模型。

若我们假设：

![70 7][]

的高斯分布，我们就可以带入高斯分布的概率密度函数：

![70 8][]

上面的C为常数项，常数项和系数不影响我们求解![maxl(w)][maxl_w]的解，所以我们可以令

![70 9][]

我们就得到了Linear Regursion的代价函数。

在最大化后验概率估计中，我们将权重w看做随机变量，也具有某种分布，从而有：

![70 10][]

同样取对数：

![70 11][]

可以看出来后验概率函数为在**似然函数**的基础上**增加了logP(w)**，P（w）的意义是**对权重系数w的概率分布的先验假设**，在收集到训练样本\{X，y\}后，则可根据w在\{X，y\}下的**后验概率对w进行修正**，从而做出对w的更好地估计。

**若假设![w\_\{j\}][w_j]的先验分布为0均值的高斯分布**，即

![70 12][]

则有：

![70 13][]

可以看到，在高斯分布下

![70 14][]

的效果等价于在**代价函数**中增加**L2正则项**。

**若假设![w\_\{j\}][w_j]服从均值为0，参数为a的拉普拉斯分布**，即：

![70 15][]

则有：

![70 16][]

可以看到，在**拉普拉斯分布下**logP(w)的效果等价在**代价函数**中增加**L1正项**。

故此，我们得到对于L1，L2正则化的第二种理解：

L1正则化可通过**假设权重w的先验分布**为**拉普拉斯分布**，由**最大后验概率估计导出**。

L2正则化可通过**假设权重w的先验分布**为**高斯分布**，由**最大后验概率估计导出**。

[https_blog.csdn.net_m0_38045485_article_details_82147817]: https://blog.csdn.net/m0_38045485/article/details/82147817
[70]: /images/20220226/9630ec6c6b374128ba1b7c7439958b02.png
[70 1]: /images/20220226/1cdb4c1735034ada9ef1e48e8aeb9211.png
[70 2]: /images/20220226/3a66a6c4c7474d8a914513cde1af9526.png
[left _ w _right _2]: https://private.codecogs.com/gif.latex?%5Cleft%20%5C%7C%20w%20%5Cright%20%5C%7C_%7B2%7D
[70 3]: /images/20220226/f2fff50bd2a744eeb1e02d092fc37db3.png
[alpha]: https://private.codecogs.com/gif.latex?%5Calpha
[alpha 1]: https://private.codecogs.com/gif.latex?%5Calpha%20%5E%7B*%7D
[70 4]: /images/20220226/8d131975f4524d8bafb028da17bd3d9f.png
[70 5]: /images/20220226/e8d812bb04904a63955275c7b112572e.png
[LARGE _rightleftharpoons]: https://private.codecogs.com/gif.latex?%5CLARGE%20%5Crightleftharpoons
[left _ w _right _1 _leq C]: https://private.codecogs.com/gif.latex?%5Cleft%20%5C%7C%20w%20%5Cright%20%5C%7C_%7B1%20%7D%5Cleq%20C
[left _ w _right _2_2_leq C]: https://private.codecogs.com/gif.latex?%5Cleft%20%5C%7C%20w%20%5Cright%20%5C%7C%7B_%7B2%7D%5E%7B2%7D%7D%5Cleq%20C
[70 6]: /images/20220226/c477f335f7bc4445b8b15c35ffa7dc90.png
[y_i]: https://private.codecogs.com/gif.latex?y%5E%7Bi%7D
[70 7]: /images/20220226/7741ec2573f544d68672806599a1c40c.png
[70 8]: /images/20220226/c69fa92e29a34692a96598681296ae90.png
[maxl_w]: https://private.codecogs.com/gif.latex?maxl%28w%29
[70 9]: /images/20220226/d4139db357824affba5f22d9fd28003f.png
[70 10]: /images/20220226/bb02c09d314c4522824f00f4574484b3.png
[70 11]: /images/20220226/544fb9df24fe4a84bf842421d6452084.png
[w_j]: https://private.codecogs.com/gif.latex?w_%7Bj%7D
[70 12]: /images/20220226/94c43bd9c2994a59b9821d28fe5ba46b.png
[70 13]: /images/20220226/65f60d33b9794c0f81ce28c208f77c92.png
[70 14]: /images/20220226/9450bfc67a4849d8ace4a5d6a88c7181.png
[70 15]: /images/20220226/0cdf9cb8d327444aa64614979b6d9241.png
[70 16]: /images/20220226/ecbcf026850041d0a5865b59057a4252.png