深入了解机器学习 (Descending into ML)：训练与损失

约定不等于承诺〃 2022-02-27 15:16 197阅读 0赞

## 深入了解机器学习 (Descending into ML)：训练与损失 ##

简单来说，**训练**模型表示通过有标签样本来学习（确定）所有权重和偏差的理想值。在监督式学习中，机器学习算法通过以下方式构建模型：检查多个样本并尝试找出可最大限度地减少损失的模型；这一过程称为**经验风险最小化**。

损失是对糟糕预测的惩罚。也就是说，**损失**是一个数值，表示对于单个样本而言模型预测的准确程度。如果模型的预测完全准确，则损失为零，否则损失会较大。训练模型的目标是从所有样本中找到一组平均损失“较小”的权重和偏差。例如，图 3 左侧显示的是损失较大的模型，右侧显示的是损失较小的模型。关于此图，请注意以下几点：

*  红色箭头表示损失。
 *  蓝线表示预测。  
    ![两个直角坐标曲线图，每个曲线图显示一条线和一些数据点。在第一个曲线图中，线与数据极其不吻合，所以损失较大。在第二个曲线图中，线与数据比较吻合，所以损失较小。][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xhYmlvZA_size_16_color_FFFFFF_t_70]

**图 3. 左侧模型的损失较大；右侧模型的损失较小。**

请注意，左侧曲线图中的红色箭头比右侧曲线图中的对应红色箭头长得多。显然，相较于左侧曲线图中的蓝线，右侧曲线图中的蓝线代表的是预测效果更好的模型。

您可能想知道自己能否创建一个数学函数（损失函数），以有意义的方式汇总各个损失。

## **平方损失：一种常见的损失函数** ##

接下来我们要看的线性回归模型使用的是一种称为**平方损失**（又称为 **L2 损失**）的损失函数。单个样本的平方损失如下：

= the square of the difference between the label and the prediction
      = (observation - prediction(x))2
      = (y - y')2

因此在回归的过程中，偏差较大的函数数据，最终其偏差值会成为其本身的平方倍。

**均方误差 (MSE)** 指的是每个样本的平均平方损失。要计算 MSE，请求出各个样本的所有平方损失之和，然后除以样本数量：

![MSE=1N∑(x,y)∈D(y−prediction(x))2][MSE_1N_x_y_D_y_prediction_x_2]  
其中：

*  (x,y) 指的是样本，其中
    
     *  x 指的是模型进行预测时使用的特征集（例如，温度、年龄和交配成功率）。
     *  y指的是样本的标签（例如，每分钟的鸣叫次数）。
     *  prediction(x) 指的是权重和偏差与特征集 x 结合的函数。
     *  D指的是包含多个有标签样本（即 (x,y)）的数据集。
     *  N 指的是 D 中的样本数量。

虽然 MSE 常用于机器学习，但它**既不是唯一实用的损失函数，也不是适用于所有情形的**最佳损失函数。

**关键字**

*  [经验风险最小化][Link 1]
 *  [损失][Link 2]
 *  [均方误差 (MSE, Mean Squared Error)][_MSE_ Mean Squared Error]
 *  [平方损失函数 (squared loss)][_squared loss]
 *  [训练 (training)][_training]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xhYmlvZA_size_16_color_FFFFFF_t_70]: /images/20220227/43d4a1bce4324eb390d136435049d540.png
[MSE_1N_x_y_D_y_prediction_x_2]: /images/20220227/e798d05802b049c8a64c66972dca0479.png
[Link 1]: https://developers.google.com/machine-learning/glossary/?hl=zh-cn#ERM
[Link 2]: https://developers.google.com/machine-learning/glossary/?hl=zh-cn#loss
[_MSE_ Mean Squared Error]: https://developers.google.com/machine-learning/glossary/?hl=zh-cn#MSE
[_squared loss]: https://developers.google.com/machine-learning/glossary/?hl=zh-cn#squared_loss
[_training]: https://developers.google.com/machine-learning/glossary/?hl=zh-cn#training