归一化、标准化、正则化公式相关小记

心已赠人 2022-09-16 08:52 720阅读 0赞

**目录**

特征缩放

归一化(Normalization)：

定义：

什么叫量纲：

分类和公式：

min-max归一化(Min-Max Normalization)--区间(0,1)

平均归一化--区间(-1,1)

非线性归一化

标准化(Standardization)：

最常见的标准化方法->Z-Score 标准化

中心化：

正则化：

过拟合

公式和原理

两个正则化损失函数等高线图

没有正则化的损失函数等高线和最优化示意图

L1正则化(Lasso回归)损失函数等高线示意图

L2正则化(岭回归)损失函数等高线示意图

归一化和正则化在数据、参数、和结果上的区别

--------------------

# 特征缩放 #

面对特征数量较多的时候，保证这些特征具有相近的尺度（无量纲化），可以使梯度下降法更快的收敛。这两张图代表数据是否均一化的最优解寻解过程（左边是未归一化的），从这两张图可以看出，数据归一化后，最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16][]

在前边讲梯度下降的时候咱们也提到过，一般在最优化前会加归一化操作

[机器学习最优化算法之梯度下降\_RayChiu757374816的博客-CSDN博客][RayChiu757374816_-CSDN]

原因就是这样会减少数据模型的震荡，以最快的速度达到最优化。

缩放的方法就包括了各种归一化和标准化操作。

# 归一化(Normalization)： #

## 定义： ##

就是把**数据**压缩映射到一定区间，例如(0,1) (-1,1) (0,255)区间，会把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。

**这里还是强调一下归一化是针对的数据**。

## 什么叫量纲： ##

就是通过一些手段将不同单位不同场景类型的数据去掉单位来表示。

## 分类和公式： ##

### min-max归一化(Min-Max Normalization)--区间(0,1) ###

![5f5711090b964b9a8f5d032aa20df25d.png][]

有人把它还称作rescaling

**适用场景：**

*  如果对输出结果范围有要求，用归一化
 *  如果数据较为稳定，不存在极端的最大最小值，用归一化

**缺点：**这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。

### 平均归一化--区间(-1,1) ###

![0b112d9439ab477ba414dc29a305ceb9.png][]

(注意这中间的mean(x)、min(x) 和 max(x) 分别是样本数据的平均值、最小值和最大值)

**适用场景：**

*  **矩阵分解**

### 非线性归一化 ###

log对数函数转换y = log10(x) 、反正切函数转换x' = atan(x)\*(2/pi)、sigmoid变换、softmax变换以及L2范数归一化(见下图)

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16][]

# 标准化(Standardization)： #

### 最常见的标准化方法->**Z-Score 标准化** ###

![d18bb3a74bc048d4a149d3ec748f58c5.png][]

其中 ![9b8069be0fd74dd8aad3071bd05259b9.jpg][] 和 ![947436708b064a4fadfd193f21e18061.png][] 分别是样本数据的均值（mean）和标准差（std）。 数据会变成一个**均值为 0 ，方差为 1 的分布**

**适用场景：**

*  **SVM、LR、神经网络**
 *  如果数据存在异常值和较多噪音，用标准化，可以间接通过中心化避免异常值和极端值的影响

# 中心化： #

也叫零均值处理，就是将每个原始数据减去这些数据的均值：

x' = x - μ

# 正则化： #

## 过拟合 ##

不加正则化训练出来的模型：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 1][]

加了正则的模型表现

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16][]

可以看到训练出来的模型太复杂，会影响使用，容易过拟合。

## 公式和原理 ##

正则化主要用于避免过拟合的产生和减少网络误差。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 2][]

其中，第 1 项是**经验风险**，第 2 项是**正则项**， ![7f55f0b4a0e7449a9f3d897093555f50.png][] 为调整两者之间关系的系数。常见的有正则项有 **L1 正则** 和 **L2 正则** 以及 **Dropout**

**L1和L2正则公式和原理详细内容请移步：**[我这样说范数和模你应该懂L1、L2正则咋回事了吧\_RayChiu757374816的博客-CSDN博客][L1_L2_RayChiu757374816_-CSDN]

## 两个正则化损失函数等高线图 ##

### 没有正则化的损失函数等高线和最优化示意图 ###

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16][]

### L1正则化(Lasso回归)损失函数等高线示意图 ###

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16][]

lasso回归最终会等到稀疏矩阵，好多参数会是0，也就是筛选了特征，把对结果贡献很低的特征给过滤掉了，最终模型只关注非零的特征。

### L2正则化(岭回归)损失函数等高线示意图 ###

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16][]

## 归一化和正则化在数据、参数、和结果上的区别 ##

这里谈一下和归一化的关系，我理解归一化是为了使得预处理的数据被限定在一定的范围内(比如\[0,1\]或者\[-1,1\]),从而消除奇异样本数据导致的不良影响，这样处理使得训练时减少震荡，能够更加快速的训练，然而归一化不是必须的，不归一化最多是会延长最优化的时间，而不影响训练出来的模型使用。而正则化是针对的参数、系数theta或者叫w、b，最终的目的是让**参数数值相差很小**，比如不正则化可能第一个参数是100，第二个是1，加正则化后可能最终的参数第一个是1.013第二个是0.892，这样泛化能力强了，会影响模型的生成和使用，也就是归一化不影响推理结果，正则会影响。

参考：[2(1).数据预处理方法 - nxf\_rabbit75 - 博客园][2_1_._ - nxf_rabbit75 -]

[6.3. Preprocessing data — scikit-learn 1.0 documentation][6.3. Preprocessing data _ scikit-learn 1.0 documentation]

[学习笔记163—理解模型正则化：L1正则、L2正则（理论+代码）-上地信息-shangdixinxi.com][163_L1_L2_-_-shangdixinxi.com]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/41b4bbcca30743aa8a5e4c099ee7d817.png
[RayChiu757374816_-CSDN]: https://blog.csdn.net/RayChiu757374816/article/details/120674792
[5f5711090b964b9a8f5d032aa20df25d.png]: /images/20220828/9f2a48068a724705b269f2e4bfcd87d7.png
[0b112d9439ab477ba414dc29a305ceb9.png]: /images/20220828/9b42de0f27954a2a855975a396c8effc.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/c362d7ea3cfc4ce5ab3603b919211c0d.png
[d18bb3a74bc048d4a149d3ec748f58c5.png]: /images/20220828/39b39df083ec4c9d974cbaecfa6173e0.png
[9b8069be0fd74dd8aad3071bd05259b9.jpg]: https://img-blog.csdnimg.cn/9b8069be0fd74dd8aad3071bd05259b9.jpg
[947436708b064a4fadfd193f21e18061.png]: /images/20220828/989462542c4d49b2af646ef6566cb1e7.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/e0be11b72c634a69ac2b213cc1d3d79b.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/302c3f0d127543a98aee14ca3e8afe7c.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/d413a2f505084209b13b88c7aa66973a.png
[7f55f0b4a0e7449a9f3d897093555f50.png]: /images/20220828/bbc2f1d8cf394843a7d7bef140ae76c1.png
[L1_L2_RayChiu757374816_-CSDN]: https://blog.csdn.net/RayChiu757374816/article/details/120842233
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/769c37093d2547d6af0cbd991b76a267.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/330abd9acc574e85a5efa1e2f979234f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/43da81dee6104c22b8a1e8b837ff9c89.png
[2_1_._ - nxf_rabbit75 -]: https://www.cnblogs.com/nxf-rabbit75/p/11141944.html
[6.3. Preprocessing data _ scikit-learn 1.0 documentation]: https://scikit-learn.org/stable/modules/preprocessing.html
[163_L1_L2_-_-shangdixinxi.com]: http://www.shangdixinxi.com/detail-1493457.html