Python逻辑回归

缺乏、安全感 2023-03-14 08:06 39阅读 0赞

## Python逻辑回归 ##

逻辑回归也被称为广义线性回归模型，它与线性回归模型的形式基本上相同，最大的区别就在于它们的因变量不同，如果是连续的，就是多重线性回归；如果是二项分布，就是Logistic回归。  
二分类问题的概率与自变量之间的关系图形往往是一个S型曲线，如图3-8所示，采用sigmoid函数实现，函数形式为：  
![sigmod函数][sigmod]  
![sigmod函数][sigmod 1]  
对于线性边界的情况，边界形式如下：  
![在这里插入图片描述][20200516172314386.png]  
最佳参数：  
![在这里插入图片描述][20200516172343862.png]  
构造预测函数为：  
![在这里插入图片描述][20200516172407507.png]  
sigmoid的函数输出是介于（0,1）之间的，中间值是0.5，公式hθ（x）的含义就很好理解了，因为hθ（x）输出是介于（0,1）之间，也就表明了数据属于某一类别的概率。例如，hθ（x）<0.5则说明当前数据属于A类；hθ（x）>0.5则说明当前数据属于B类。所以可以将sigmoid函数看成样本数据的概率密度函数。函数h（x）的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：  
![在这里插入图片描述][20200516172452559.png]  
使用概率论中极大似然估计的方法去求解损失函数：  
首先得到概率函数为：  
![在这里插入图片描述][20200516172922620.png]  
因为样本数据（m个）独立，所以它们的联合分布可以表示为各边际分布的乘积，取似然函数为：  
![在这里插入图片描述][20200516172953333.png]  
取对数似然函数：  
![在这里插入图片描述][20200516173049557.png]  
最大似然估计就是要求得使l（θ）取最大值时的θ，这里可以使用梯度上升法求解，求得的θ就是要求的最佳参数：  
![在这里插入图片描述][20200516173136432.png]  
基于最大似然估计推导得到Cost函数和J函数如下：  
![在这里插入图片描述][20200516173201860.png]  
θ更新过程可以写成：  
![在这里插入图片描述][20200516173313914.png]  
正则化后的梯度下降算法θ的更新变为：  
![在这里插入图片描述][20200516173617790.png]  
代码部分：  
使用如下所示数据100条  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIzNTEwOQ_size_16_color_FFFFFF_t_70]  
数据加载

class Logistic_regression():
        #初始化
        def __init__(self):
            self.xmat = list();
            self.ymat = list();
        #数据加载处理
        def loadData(self,filename):
            file = open(filename);
            lines = file.readlines();
            #print(lineArry);
            for line in lines:
                lineArry = line.strip().split();#  split 用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列
                dataline = [1.0];
                for i in range(len(lineArry)):
                    dataline.append(float(lineArry[i]));
                #print("dataline",dataline);
                label = dataline.pop();
                self.ymat.append(int(label));#删除最后一个  并返回
                self.xmat.append(dataline);
            self.xmat = np.mat(self.xmat); # mat()函数  转换为矩阵
            self.ymat = np.mat(self.ymat).transpose();
            #print("len",len(self.xmat));
            #print(self.xmat);

sigmoid函数

定义sigmoid函数
        def sigmod(self,X):
            return 1/(1-np.exp(-X));

梯度下降

# 梯度下降计算权重0
        def stocGradAscent0(self,maxCycles=1000,alpha=0.001):
            m,n = np.shape(self.xmat);
            weights = np.ones((n,1));
            for i in range(maxCycles):
                h = self.sigmod(self.xmat*weights);
                error = self.ymat-h;
                #print("error",np.shape(error))
                #print("xmat",np.shape(self.xmat.transpose()))
                weights+=alpha*self.xmat.transpose()*error; #ranspose()转置
            return weights;

画图

#画出最终分类图
        def plotBestfit(self,weights):
            xcord1 = [];
            xcord2 = [];
            ycord1 = [];
            ycord2 = [];
            for i in range(len(self.xmat)):
                label = self.ymat[i];
                #print(int(label))
                #用x1  代表x坐标    x2  代表y坐标
                if int(label) == 1:
                    xcord1.append(self.xmat[i,1]);
                    ycord1.append(self.xmat[i,2]);
                else:
                    xcord2.append(self.xmat[i,1]);
                    ycord2.append(self.xmat[i,2]);
            #print(xcord1,xcord2,ycord1,ycord2)
            plt.figure();
            #定义线条颜色
            plt.scatter(xcord1,ycord1,s=30,c='red',marker='s');
            plt.scatter(xcord2,ycord2,s=30,c='green');
            #坐标轴
            x = np.arange(-3.0,3.0,0.1);  # 从-3.0 到 3.0 步长为0.1
            y = (-weights[0]-weights[1]*x)/weights[2]; #决策边界 z=w0+w1*x1+w2*x2   z=0   x1代表横坐标 x2代表纵坐标 和点坐标对应 所以可以求出x2  即y
            plt.plot(x,y);
            plt.xlabel('X1');
            plt.ylabel('Y1');
            plt.legend();
            plt.show();

展示

if __name__ == '__main__':
        lr = Logistic_regression();
        lr.loadData("data\\data.txt");#加载数据
        # 更新权重
        weights0 = lr.stocGradAscent0(maxCycles=700000);
        #weights0 = lr.stocGradAscent(maxCycles=500);
        print("weights0",weights0);
    
        lr.plotBestfit(weights0);

结果图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIzNTEwOQ_size_16_color_FFFFFF_t_70 1]  
蓝色线为拟合曲线

[sigmod]: /images/20230312/9cb4e6accd0549da83a15a3f8ff5b56b.png
[sigmod 1]: /images/20230312/f3eebeb18c4d453d828f9cf3929abcc0.png
[20200516172314386.png]: /images/20230312/30632dac25554969a658e578eb694539.png
[20200516172343862.png]: /images/20230312/b1e5da28f9164bb59e29dcc15b047dca.png
[20200516172407507.png]: /images/20230312/30deda31fef4415ab7ae53053ccb62ca.png
[20200516172452559.png]: /images/20230312/4d17cb60037244708046abab9250582d.png
[20200516172922620.png]: /images/20230312/6e6915dd148a4c999bd996dda18d8850.png
[20200516172953333.png]: /images/20230312/9f31e1ca80524b32a90a286b828367be.png
[20200516173049557.png]: /images/20230312/a7fb78f91c2d4d53a7d6fa326240b9b9.png
[20200516173136432.png]: /images/20230312/e9ad431738a04a7ea0bbdd1fa546c625.png
[20200516173201860.png]: /images/20230312/c7a3cd3ee78743189dba53901cab5f26.png
[20200516173313914.png]: /images/20230312/aa9cdd5159a74cb696ae4dcc2280cbd0.png
[20200516173617790.png]: /images/20230312/c53fc9832d4640ce831f57a66c401ee4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIzNTEwOQ_size_16_color_FFFFFF_t_70]: /images/20230312/27f7fa1fcd074a10a6649a3a1d94b286.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIzNTEwOQ_size_16_color_FFFFFF_t_70 1]: /images/20230312/39ccc14822204e6c9a76aec19b5fcfb7.png