逻辑斯蒂回归分类算法

Myth丶恋晨 2022-10-29 13:28 269阅读 0赞

# 逻辑斯蒂回归分类算法 #

首先来看一个线性回归来进行分类的问题： 怎样判断肿瘤是否恶性？  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]  
很明显线性回归用于分类问题无法处理边界点的位置。

同时，线性回归健壮性不够，一旦有噪声，立刻“投降”

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]

# 使用逻辑斯蒂回归 —— 分类问题 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 2]

# Sigmoid函数（压缩函数） #

![在这里插入图片描述][20210215135847522.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 3]

sigmoid函数中，e-z 中 z 的正负决定了 g(z) 的值最后是大于 0.5 还是小于 0.5；即 z 大于 0 时，g(z) 大于 0.5，z 小于 0 时，g(z)小于 0.5

当 z 对应的表达式为分类边界时，恰好有分类边界两侧对应 z 正负不同，也就使得分类边界两边分别对应 g(z)>0.5 和 g(z)<0.5，因此根据 g(z) 与 0.5 的大小关系，就可以实现分类

**来看两个示例**：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 4]

![在这里插入图片描述][20210215135942551.png]  
![在这里插入图片描述][20210215135946980.png]  
![在这里插入图片描述][20210215140012362.png]  
![在这里插入图片描述][20210215140033374.png]  
我们将线性回归拟合出来的值用压缩函数进行压缩，压缩完成后用 0.5 做一个概率的判定边界，就能把样本分成两类，即正样本和负样本

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][20210215140512814.png]  
![在这里插入图片描述][2021021514051826.png]  
![在这里插入图片描述][20210215140523312.png]

# 逻辑斯谛回归损失函数 #

*  平方损失函数的问题  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 6]

如果使用梯度下降法求解算法可能无法得到全局最优解，最小二乘法求解不适用于多元函数。

我们期待的损失函数为一个凸函数，可以使用梯度下降求解最优质值。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 7]

考虑到对数函数中可以根据零点将数据定义划分为正类和负类：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 8]  
因此，在逻辑回归分类算法中，我们的损失函数定义如下：  
![在这里插入图片描述][2021021514132770.png]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 10]

因此，在逻辑回归分类算法中，我们的损失函数定义如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 11]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 12]

# 梯度下降法求解 #

![在这里插入图片描述][20210215141635599.png]

![在这里插入图片描述][20210215141640350.png]

# 代码案例 #

import numpy as np
    import pandas as pd
    
    from sklearn.linear_model import LogisticRegression
    from sklearn.preprocessing import StandardScaler, PolynomialFeatures
    from sklearn.pipeline import Pipeline
    from sklearn.datasets import load_iris
    
    import matplotlib as mpl
    import matplotlib.pyplot as plt
    
    
    if __name__ == "__main__":
        #引入sklearn里面的数据集，iris鸢尾花
        iris = load_iris()
        df = pd.DataFrame(data = iris.data, columns = iris.feature_names)
        df['class'] = iris.target
        df['class'] = df['class'].map({ 0:iris.target_names[0], 1:iris.target_names[1], 2:iris.target_names[2]})
    
    
        #path = 'iris.data'
        #data = pd.read_csv(path, header=None)
    
    
        #对类别进行编码
        df[4] = pd.Categorical(data[4]).codes
    
    
        #划分训练集测试集
        x,y = np.split(data.values, (4,), axis=1)
        x = x[:, :2]
    
    
        #创建训练模型
        lr = Pipeline( [('sc',StandardScaler()),('poly',PolynomialFeatures(degree=2)),('clf',LogisticRegression())] )
    
        lr.fit(x, y.ravel())
        y_hat = lr.predict(x)
        y_hat_prob = lr.predict_proba(x)
        np.set_printoptions(suppress=True)
    
        #print('y_hat = \n', y_hat)
        #print('y_hat_prob = \n', y_hat_prob)
        print('准确率：%.2f%%' % (100 * np.mean(y_hat == y.ravel())))
    
    
         # 画图
        N, M = 500, 500  # 横纵各采样多少个值
        x1_min, x1_max = x[:, 0].min(), x[:, 0].max()  # 第0列的范围
        x2_min, x2_max = x[:, 1].min(), x[:, 1].max()  # 第1列的范围
        t1 = np.linspace(x1_min, x1_max, N)
        t2 = np.linspace(x2_min, x2_max, M)
        x1, x2 = np.meshgrid(t1, t2)  # 生成网格采样点
        x_test = np.stack((x1.flat, x2.flat), axis=1)  # 测试点
    
        mpl.rcParams['font.sans-serif'] = ['simHei']
        mpl.rcParams['axes.unicode_minus'] = False
    
        y_hat = lr.predict(x_test)  # 预测值
        y_hat = y_hat.reshape(x1.shape)  # 使之与输入的形状相同
    
        plt.figure(facecolor='w')
        plt.pcolormesh(x1, x2, y_hat)  # 预测值的显示
        plt.scatter(x[:, 0], x[:, 1], c=np.squeeze(y), s=50)  # 样本的显示
        plt.xlabel('花萼长度', fontsize=14)
        plt.ylabel('花萼宽度', fontsize=14)
        plt.xlim(x1_min, x1_max)
        plt.ylim(x2_min, x2_max)
        plt.grid()
        plt.title("Logistic回归-鸢尾花", fontsize=17)
        plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 13]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]: /images/20221024/3ae6ee2d8f104a0aa015462331b0e386.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]: /images/20221024/41c0e35846734ca19c741c5b5d78f2bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 2]: /images/20221024/d799053d708b4624b490b05ead3d6b3d.png
[20210215135847522.png]: /images/20221024/b1a0d7c02a034071be5b36ea9aa63523.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 3]: /images/20221024/fb94f9220f8a42cba9c6dff24bc2c85b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 4]: /images/20221024/cd3cc39ff9574ba5a2a22852d0e85e83.png
[20210215135942551.png]: /images/20221024/f1a44fdd997a476d8104732df395872e.png
[20210215135946980.png]: /images/20221024/5f3d5990f2204f6b84cd4fb4fdd55011.png
[20210215140012362.png]: /images/20221024/2b38d100e394468a967b3c0118e43d24.png
[20210215140033374.png]: /images/20221024/3e9e919375a747b688720fcd4c9ae5a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 5]: /images/20221024/68f0ad25b05b452f97b667920a4084f8.png
[20210215140512814.png]: /images/20221024/42a4802fe79947c7b8f3a6f4a82b0ab9.png
[2021021514051826.png]: /images/20221024/dc17766a902847048f7271d1d4a4d830.png
[20210215140523312.png]: /images/20221024/5c61736aa49c43b783f03a536fac6a2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 6]: /images/20221024/7a43916e71a14181b781f07dbc50e310.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 7]: /images/20221024/cc9d8fe011ff42a78b2d13db79c1ccfd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 8]: /images/20221024/bb0181eb3c934405937d7814a7931c70.png
[2021021514132770.png]: /images/20221024/dc82b610d34c4331b5bdecd1d894b248.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 9]: /images/20221024/f2aef0e5ecce4d3a99fcf96d94a4359f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 10]: /images/20221024/6a86400b47944caf803244d7b896d1f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 11]: /images/20221024/3c03261162384c54ad3094e9ad48329c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 12]: /images/20221024/12ca192da8154e08a2d96570c8d87aef.png
[20210215141635599.png]: /images/20221024/acfb00697b3349b99156dcd1adb90db9.png
[20210215141640350.png]: /images/20221024/715daab7c09149afaea699868c893b06.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 13]: /images/20221024/ab8cc25c83574126a228a3da260cb7cd.png