基于python的在线学习logistic回归

骑猪看日落 2022-08-27 14:43 162阅读 0赞

在和导师第一次交流后，导师建议我们先从机器学习中最简单的logistic回归开始入手，并学习流式的机器学习算法再将其应用于spark平台上，本文先分析logistic回归的理论依据，再借鉴《机器学习实战》一书中基于python的logistic回归进行介绍，为将算法移植到spark平台上做好准备。

**一、 梯度下降法logistic回归的理论分析**

Logistic回归用来解决二值分类问题。训练数据为(x\_1, y\_1), (x\_2,y\_2)……(x\_n, y\_n)等n个数据对。x\_i代表训练数据的特征，为一个向量；y\_i代表训练数据的标签，我们假设正样本和负样本的标签为\{-1,1\}。

Logistic回归属于广义线性模型，对线性模型来说，训练算法训练的是一个与测试样本x\_j同等维度的权重w，通过计算w\*x\_j(w\*代表w的转置)来得到样本x\_j的“score”，然后对score进行分析，得到算法的输出。

在Logistic回归中，对某个测试样本x\_j来说，算法的输出是此样本属于正样本（或负样本）的概率，当然，这个概率是属于\[0,1\]的。这个概率是和刚才说到的score紧密相关的，这个关系就是如下的Logistic函数。

![SouthEast][]

如果我们把w\*x看做自变量s，它的曲线如下所示：

![SouthEast 1][]

h(x)或θ(x)表示样本x属于正样本的概率，上述曲线的意思是，当score，即w\*x为正数，则样本属于正样本的概率大于1/2，即更有可能是正样本，反之更有可能是负样本。并且w\*x为一个更大的正数的话，其属于正样本的概率更大，w\*x为一个更小的负数的话，其属于负样本的概率更大。

在学习的过程中，对于y\_i = 1的训练数据，我们希望h(x\_i)越大越好，此时h(x\_i)=h(y\_i\*x\_i)，因为y\_i此时等于1；对y\_i = -1的训练数据，我们希望h(x\_i)越小越好，由于函数h(x)是反向对称的，我们也可以说希望h(-x\_i)越大越好，此时也有h(-x\_i) =h(y\_i\*x\_i)。因此，对n个训练样本，我们希望

![SouthEast 2][]

我们对优化的目标函数取一个-log()，则最大化问题可以变成最小化问题，连乘可以变成连加。问题变成

![SouthEast 3][]

我们可以使用梯度下降法来求解这个问题，首先需要计算目标函数E关于w的梯度。注意这是一个n项加和的目标函数，我们可以分别对每一项求关于w的梯度，然后对n个梯度加和。容易得到，梯度等于：

![20140722143028359][]

梯度下降法使用如下迭代：

![SouthEast 4][]

其中η是一个预设的步长。通过数次迭代，我们可以求得一个比较好的w。

**二、随机梯度下降法的logistic回归**

注意到在上面的Logistic回归算法当中，计算梯度时我们用到了所有n个训练数据，在大规模机器学习问题中，训练数据量非常大，或者训练数据是以流的形式到达，我们不能将所有的训练数据同时进行计算，此时，我们需要使用随机梯度下降法来解决这个问题。

随机梯度下降法思想十分简单：在每次计算梯度时，我们只使用1个数据点来计算，然后用这个梯度来更新w。我们可以把随机梯度下降法总结如下：

初始化训练参数w

对训练集中每一个样本

计算此样本的梯度

用此样本的梯度更新参数w

得到w

**三、基于python的logistic回归**

在《机器学习实战》书中给出了一个具体的例子，首先利用基本的梯度上升（与梯度下降法效果一样，符号不一样而已）法，再利用改进的随机梯度上升法进行分类器的训练，下面给出算法执行过程。

在前面理论推导的基础上，在logRegres.py中输入如下代码

![SouthEast 5][]

程序读取的数据集截图如下图所示

![SouthEast 6][]

我用的是pythonxy程序自带的IDLE运行环境

![SouthEast 7][]

在IDLE环境中切换到logRegres.py所在的目录

![SouthEast 8][]

然后运行下图所示的程序，可以得到运行梯度下降法的logistic回归后的权重w。

![SouthEast 9][]

然后再画出决策边界。（通过plotBestFit函数，由于这个函数略长，且重要性不大，因此略去）

![SouthEast 10][]

![SouthEast 11][]

从图中可以看出，绿色的为一类，红色的为一类，划分的分类线只分错了4个点。

下面对随机梯度上升法的执行情况做一个简要介绍

重新写一个stocGradAscent0函数，如下图，每一次对一个数据进行梯度下降，而不是像前面的根据所有的数据进行梯度下降，

![SouthEast 12][]

重新画分类线的图，得到下图

![SouthEast 13][]

我们看到效果并不是特别好，分类错了很多样本。但其实与前面相比，这次的代码只是对数据集进行了一遍学习并没有进行多次学习。

下面我们用改进的随机梯度上升法，进行训练，看看效果。改进的梯度学习算法主要在学习速率上做了一定的改进，随着学习次数增多，学习速率不断降低，但是永远不会下降为0.

![SouthEast 14][]

我们看到了代码中写明了对整个数据集反复学习150次。

得到的结果如下图所示。

![SouthEast 15][]

我们可以看到效果还是挺不错的，并且计算量少了很多，而且还可以流式学习。

[SouthEast]: /images/20220823/d8f714a9cd4244c9913ff0f9c7df62f9.png
[SouthEast 1]: /images/20220823/c6f3c3694bcd4f5eaeaa511129c997ec.png
[SouthEast 2]: /images/20220823/6d14ee1408b74942ad17b3580ca2c2bd.png
[SouthEast 3]: /images/20220823/57b1e90aeaae481dbaaa666f590a962d.png
[20140722143028359]: /images/20220823/60b81adf54ba4951b7695ef02db4c485.png
[SouthEast 4]: /images/20220823/214e1e7d63924b05b84dca56600638ec.png
[SouthEast 5]: /images/20220823/782c7425c544466a86c718391eb201ed.png
[SouthEast 6]: /images/20220823/237b8274182345a1bfb72174474d20e7.png
[SouthEast 7]: /images/20220823/92119c17851f43fea9a5055fa24c4c3c.png
[SouthEast 8]: /images/20220823/e0ca57331c7d4e27ae8aabcd88f205b7.png
[SouthEast 9]: /images/20220823/21efb7564dc843f190bd6c01eea99f38.png
[SouthEast 10]: /images/20220823/19fcb399397649cc890cc3b72dc5a925.png
[SouthEast 11]: /images/20220823/e78fdb08327d4a10bda985bf9792b12a.png
[SouthEast 12]: /images/20220823/dfecceb42d0243f786a768c519e0bd9a.png
[SouthEast 13]: /images/20220823/3c98123825c643bd82fdba9a813f0acf.png
[SouthEast 14]: /images/20220823/091a14911b774fadaa94d6c27585933e.png
[SouthEast 15]: /images/20220823/a884d6bd3fa1463ea3ea1b025e6da0f7.png