机器学习算法之多分类softmax回归

心已赠人 2022-09-16 03:57 271阅读 0赞

**目录**

逻辑回归的Sigmoid和 Softmax的区别和关系

区别

联系

回头看softmax公式的由来

推导过程

证明多项分布属于指数分布族

关于损失函数

--------------------

前边我们说到二分类用逻辑回归算法，多分类场景还是得上softmax回归。

# 逻辑回归的Sigmoid和 Softmax的区别和关系 #

## 区别 ##

Sigmoid ：

![bf6029851ffd4dcebf553bf012115f32.png][]

Softmax 函数：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16][]

对于一个长度为 K 的任意实数矢量，Softmax 可以把它压缩为一个长度为 K 的、取值在 (0, 1) 区间的实数矢量，且矢量中各元素之和为 1。它在多元分类（Multiclass Classification）和神经网络中也有很多应用。Softmax 不同于普通的 max 函数：max 函数只输出最大的那个值，而 Softmax 则确保较小的值也有较小的概率，不会被直接舍弃掉，是一个比较“Soft”的“max”。

softmax区别于sigmoid最主要的还是应用场景，softmax用于多分类，服从多项式分布，sigmoid准确的来说是用于**“一分类”**，服从两点分布，其实和服从二项分布的二分类是有区别的，sigmoid的做法是把线性结果 Z 压缩到的(0，1)区间，然后找分界线计算出样本分类成某一类别的概率P，而不分类成目标类别的概率自然就是 1-P了，这就是典型的两点分布形式。

## 联系 ##

sigmoid二分类场景：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16][]

而softmax多分类的类别数k为2时：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16][]

其中β：

![4b510ca96cc4469eb492e4acf78ec47f.png][]

此时的softmax回归 就是 参数为(θ2-θ1)的逻辑回归了，可见在二元分类的情况下，Softmax 退化为了 Sigmoid

# 回头看softmax公式的由来 #

## 推导过程 ##

**推导思路为**：首先证明多项分布属于指数分布族，这样就可以使用广义线性模型来拟合这个多项分布，由广义线性模型推导出的目标函数hθ(x)即为Softmax回归的分类模型。

## 证明多项分布属于指数分布族 ##

下面将根据多项式分布建模。考虑样本共有kk类，每一类的概率分别为ϕ1,⋯,ϕk，由于:

![ec83725881244fbba1033c2b44e653c6.jpg][]

所以通常我们只需要k−1个参数即 ϕ1, ⋯, ϕk−1。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16][]

为了推导方便，引入表达式：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_17_color_FFFFFF_t_70_g_se_x_16][]

上面T(y)是k−1维列向量,其中y=1, 2, ⋯, k；T(y)i表示向量T(y)的第i个元素。

还要引入表达式1\{⋅\} ,如果大括号里面为真，则真个表达式就为1，否则为0。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 1][]

例如：1\{2=3\} = 0和1\{3=3\} = 1.  
则上面的 k个向量就可以表示为： ![4c2a9b0404954c41a2994bc405c6236f.png][]

因为 yy只能属于某一个类别，于是T(y)中只能有一个元素为1其他元素都为0，可以求出 k−1个元素的期望：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16 1][]

即：

![594754079b4240049e8bd1a1eb70f9ff.png][]

多项式分布表达式转为指数分布族表达式推导过程如下：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_19_color_FFFFFF_t_70_g_se_x_16][]

其中：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16][]

多项分布可以表示为指数分布的格式，所以它属于指数分布族，那么就可以用广义线性模型来拟合这个多项式分布模型。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16 1][]

至此，我们就得到了softmax回归的公式：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16][]

## 关于损失函数 ##

从上式看除，我们的模型最后要求的是一组θ参数：

![622107a34b75483ea10b524585ae54b5.png][]

类似逻辑回归的交叉熵，一顿似然对数转换得到最终的交叉熵损失函数：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_17_color_FFFFFF_t_70_g_se_x_16 1][]

有了损失函数就可以交给 sgd 或者 l-bfgs 来进行最小化损失，我们就可以求得一组θ参数使得模型表现最好了。

参考：[学习笔记——机器学习--多项式分布及Softmax回归模型推导\_liuyhoo-CSDN博客][--_Softmax_liuyhoo-CSDN]

[bf6029851ffd4dcebf553bf012115f32.png]: /images/20220828/659fc3e1e9a8420a9729f6cf031c6a07.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/f2a0c793900d482d8002db0abf3b287a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/7935f11ede9e4c179d83d1b80568a73a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/e461b422067c4e518fe1b9e40718d11c.png
[4b510ca96cc4469eb492e4acf78ec47f.png]: /images/20220828/9184a9ccc46444fc96e6fcea44b66c09.png
[ec83725881244fbba1033c2b44e653c6.jpg]: /images/20220828/75cda4cfcff24d4fbe07d0dc72517d8d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/c34ecf42b2d641b29afd6d0455b207a9.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_17_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/a1fcb055f35d436ab223e541e75b0f91.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/2cb6925b4a4d4728bd736bc127b189e6.png
[4c2a9b0404954c41a2994bc405c6236f.png]: /images/20220828/478bb2da96b9449582e4c419f0ed20c0.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/7e1488d457834cefab71d705953befb5.png
[594754079b4240049e8bd1a1eb70f9ff.png]: /images/20220828/f839c8ff5db149299105b9fe0dabebaa.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_19_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/c432f477c21044acabeed79793d5cf9a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/0c2fb709393f48b9bf1a36011da31462.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/5e39aade48c844a6a4e7930fb15e72fd.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/5b11d03da59044bcb4949e92da6566a7.png
[622107a34b75483ea10b524585ae54b5.png]: /images/20220828/0fedb921840d46f9ab5f9decefcd666e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_17_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/308e528ddb9d4e79b64704710e00dd03.png
[--_Softmax_liuyhoo-CSDN]: https://blog.csdn.net/liuyhoo/article/details/81542100