机器学习简易入门（四）- logistic回归

冷不防 2022-06-15 12:45 178阅读 0赞

摘要：使用logistic回归来预测某个人的入学申请是否会被接受

声明：（本文的内容非原创，但经过本人翻译和总结而来，转载请注明出处）

本文内容来源：[https://www.dataquest.io/mission/59/logistic-regression][https_www.dataquest.io_mission_59_logistic-regression]

原始数据展示

这是一份美国入学申请的录取记录表，admit – 是否录取，1代表录取，0代表否定；gpa – gpa成绩，gre – 绩点

import pandas
    
    admissions = pandas.read_csv('admissions.csv')

[![clip\_image001][clip_image001]][clip_image001_clip_image001]

在之前已经介绍过了线性回归，现在同样使用线性回归来进行预测

![复制代码][copycode.gif]

from sklearn.linear_model import LinearRegression
    
    model = LinearRegression()
    
    #训练模型
    
    model.fit(admissions[['gre', 'gpa']], admissions["admit"])
    
    admit_prediction = model.predict(admissions[['gre', 'gpa']])
    
    plt.xlabel('gpa')
    
    plt.ylabel('admit_prediction')
    
    plt.scatter(admissions["gpa"], admit_prediction)
    
    plt.show()

![复制代码][copycode.gif]

[![clip\_image002][clip_image002]][clip_image002_clip_image002]

在上图中可见，有些预测结果小于0，而这明显是不对的，因为预测结果应该只能为0或者1，我们现在需要获取一个介于0和1之间的概率，然后通过之前的文章中介绍过的分类算法（[机器学习简易入门（二）- 分类][-]）来确定录取一个人的概率的阀值来决定录取结果，最终生成只有0和1的结果

logistic回归函数

logistic回归产生的输出都位于0和1之间，通常用来产生预测某个事件的发生概率，该函数的格式为[![clip\_image003][clip_image003]][clip_image003_clip_image003]，其中的e是一个无理数常量，该函数有一个很漂亮的形状

![复制代码][copycode.gif]

# logistic回归函数
    
    def logit(x):
    
    return np.exp(x) / (1 + np.exp(x)) 
    
    # 在-6到6之间等差产生50个数
    
    t = np.linspace(-6,6,50, dtype=float)
    
    ylogit = logit(t)
    
    #作图
    
    plt.plot(t, ylogit, label="logistic")
    
    plt.ylabel("Probability")
    
    plt.xlabel("t")
    
    plt.title("Logistic Function")
    
    plt.show()

![复制代码][copycode.gif]

[![clip\_image004][clip_image004]][clip_image004_clip_image004]

logistic回归

在线性回归方程中[![clip\_image005][clip_image005]][clip_image005_clip_image005]，可以将该方程产生的结果y放入到logistic回归方程，从而将线性方程产生的结果转换为一个概率[![clip\_image006][clip_image006]][clip_image006_clip_image006]，对于本文来说，这个logistic回归方程为[![clip\_image007][clip_image007]][clip_image007_clip_image007]，现在根据这个logistic回归方程就能产生一个录取概率。

类似于之前使用scikit-learn库中的线性回归，现在也可以直接使用该库中的logistic回归

![复制代码][copycode.gif]

from sklearn.linear_model import LogisticRegression
    
    #对数据集进行随机重排序
    admissions = admissions.loc[np.random.permutation(admissions.index)]
    
    # 将随机排序后的前700条数据作为训练集，后面的作为测试集
    num_train = 700
    data_train = admissions[:num_train]
    data_test = admissions[num_train:]
    
    logistic_model = LogisticRegression()
    logistic_model.fit(data_train[['gpa', 'gre']], data_train['admit'])
    
    # 进行测试
    fitted_test = logistic_model.predict_proba(data_test[['gpa', 'gre']])[:, 1] #因为predict_proba返回的是一个两列的矩阵，矩阵的每一行代表的是对一个事件的预测结果，第一列代表该事件不会发生的概率，第二列代表的是该事件会发生的概率。而这里需要的是第二列的数据
    plt.scatter(data_test['gre'], fitted_test)
    plt.xlabel('gre')
    plt.ylabel('probability ')
    plt.show()

![复制代码][copycode.gif]

[![clip\_image008][clip_image008]][clip_image008_clip_image008]

评估模型

准确率

现在假设只要录取概率大于0.5的就能录取，计算一下这个模型的准确性

![复制代码][copycode.gif]

# predict()函数会自动把阀值设置为0.5
    
    predicted = logistic_model.predict(data_train[['gpa','gre']])
    
    # 计算在训练集中正确预测的准确率
    
    accuracy_train = (predicted == data_train['admit']).mean()
    
    #计算在测试集中正确预测的准确率
    
    predicted = logistic_model.predict(data_test[['gpa','gre']])
    
    accuracy_test = (predicted == data_test['admit']).mean()

![复制代码][copycode.gif]

[![clip\_image009][clip_image009]][clip_image009_clip_image009]

ROC曲线

分别计算训练集和测试集的ROC曲线和AUC

![复制代码][copycode.gif]

from sklearn.metrics import roc_curve, roc_auc_score
    
    train_probs = logistic_model.predict_proba(data_train[['gpa', 'gre']])[:,1]
    
    test_probs = logistic_model.predict_proba(data_test[['gpa', 'gre']])[:,1]
    
    #计算AUC
    
    auc_train = roc_auc_score(data_train["admit"], train_probs)
    
    auc_test = roc_auc_score(data_test["admit"], test_probs)
    
    print('Auc_train: {}'.format(auc_train))
    
    print('Auc_test: {}'.format(auc_test))
    
    # 计算ROC曲线
    
    roc_train = roc_curve(data_train["admit"], train_probs)
    
    roc_test = roc_curve(data_test["admit"], test_probs)
    
    # 作图
    
    plt.plot(roc_train[0], roc_train[1])
    
    plt.plot(roc_test[0], roc_test[1])

![复制代码][copycode.gif]

[![clip\_image010][clip_image010]][clip_image010_clip_image010]

[https_www.dataquest.io_mission_59_logistic-regression]: https://www.dataquest.io/mission/59/logistic-regression
[clip_image001]: http://images2015.cnblogs.com/blog/771870/201603/771870-20160323093217683-1437592143.png
[clip_image001_clip_image001]: /images/20220615/1f17b05933e842d1a465d61b57084e13.png
[copycode.gif]: /images/20220615/08c26330a4f7421ca17d76ebda2c3e08.png
[clip_image002]: http://images2015.cnblogs.com/blog/771870/201603/771870-20160323093218901-878506267.png
[clip_image002_clip_image002]: /images/20220615/38f3e4886080424ebabb9ca3b0b539ce.png
[-]: http://www.cnblogs.com/kylinlin/p/5306358.html
[clip_image003]: http://images2015.cnblogs.com/blog/771870/201603/771870-20160323093219839-1456762583.png
[clip_image003_clip_image003]: /images/20220615/141d2a04ff214cea9e4a88912ed9004b.png
[clip_image004]: http://images2015.cnblogs.com/blog/771870/201603/771870-20160323093220792-1952716895.png
[clip_image004_clip_image004]: /images/20220615/f9cea569e23340fcb5d23e535cbd54c3.png
[clip_image005]: http://images2015.cnblogs.com/blog/771870/201603/771870-20160323093221526-1679130256.png
[clip_image005_clip_image005]: http://images2015.cnblogs.com/blog/771870/201603/771870-20160323093221167-1459909469.png
[clip_image006]: http://images2015.cnblogs.com/blog/771870/201603/771870-20160323093222276-277320955.png
[clip_image006_clip_image006]: http://images2015.cnblogs.com/blog/771870/201603/771870-20160323093221933-1072832095.png
[clip_image007]: http://images2015.cnblogs.com/blog/771870/201603/771870-20160323093223136-1615799215.png
[clip_image007_clip_image007]: /images/20220615/ccc148c7d5c54bab9c79f2b999d7b4c6.png
[clip_image008]: http://images2015.cnblogs.com/blog/771870/201603/771870-20160323093224417-814125765.png
[clip_image008_clip_image008]: /images/20220615/172abd83b2fc4cb79c8964956313c439.png
[clip_image009]: http://images2015.cnblogs.com/blog/771870/201603/771870-20160323093225276-229699713.png
[clip_image009_clip_image009]: /images/20220615/f47c1e8a424440048e370a8a623259df.png
[clip_image010]: http://images2015.cnblogs.com/blog/771870/201603/771870-20160323093226214-331503527.png
[clip_image010_clip_image010]: /images/20220615/6e1aac2dbbe14bdab28f3c69202170dc.png