机器学习(周志华) 参考答案第三章线性模型 3.3

客官°小女子只卖身不卖艺 2022-05-15 09:43 551阅读 0赞

一：matlab实现  
1.数据的Excel处理  
![这里写图片描述][70]  
[西瓜数据集3.0][3.0]

2.代码

# -*- coding: utf-8 -*-
    
    old_l = 0;
    n = 0;
    b = [0;0;1]; %对应书中（3.25）下的B=(w;b)，因为x有两个属性：密度，含糖率，所以有b三行，还有一个是w*x+b中的b。
    
    x = xlsread('E:\Program Files\octave\西瓜3.0.xlsx', 'Sheet1', 'A1:Q3')
    y = xlsread('E:\Program Files\octave\西瓜3.0.xlsx', 'Sheet1', 'A4:Q4')
    
    while(1)
      cur_l = 0;
      bx = zeros(17,1);
    
      for i=1:17
        bx(i) = b.'*x(:,i);
        cur_l = cur_l + (-y(i)*bx(i)) + log(1+exp(bx(i))); %对应式（3.27）
      end
    
      if abs(cur_l-old_l) < 0.0001
        break;
      end
    
      n += 1;
      old_l = cur_l;
      dl = 0;
      d2l = 0;
    
      for i=1:17 %牛顿法求解（3.29）
        pl(i) = 1 - 1 / (1+exp(bx(i)));
        dl = dl - x(:,i) * (y(i) - pl(i)); %（3.30）
        d2l += x(:,i) * x(:,i).'* pl(i)*(1-pl(i)); %（3.31）
      end
      b -= d2l \ dl;
    end
    
    %绘图
    for i=1:17
      if y(i) == 1
        plot(x(1,i),x(2,i),'+r');
        hold on;
      else if y(i) == 0
        plot(x(1,i),x(2,i),'og');
        hold on;
      end
    end
    end  
    
    
    ply = -(0.1*b(1)+b(3))/b(2);
    pry = -(0.9*b(1)+b(3))/b(2);     
    line([0.1 0.9],[ply pry]);        
    
    xlabel('density');
    ylabel('Sugar content');
    title('Rate regression');

3.绘图结果  
![这里写图片描述][70 1]

二：Python实现  
1.Excel处理数据  
![这里写图片描述][70 2]

2.代码

# -*- coding: utf-8 -*-
    #对率回归分类
    import numpy as np
    from numpy import linalg
    import pandas as pd
    #读取数据集
    inputfile = 'E:/Program Files/octave/xigua.xlsx'
    data_original = pd.read_excel(inputfile, 'Sheet1')
    #数据的初步转化与操作--属性x变量2行17列数组，并添加一组1作为吸入的偏置x^=（x;1）
    x=np.array([list(data_original[u'密度']),list(data_original[u'含糖率']),[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]])
    y=np.array([1,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0])
    #定义初始参数
    beta = np.array([[0],[0],[1]])       #β列向量
    old_l = 0 #3.27式l值的记录，这是上一次迭代的l值
    n=0
    
    while 1:
        beta_T_x = np.dot(beta.T[0], x)  # 对β进行转置取第一行（因为β转置后是array([[0, 0, 1]]，取第一行得到array([0, 0, 1])
                                          # ，再与x相乘（dot）,beta_T_x表示β转置乘以x)
        cur_l = 0   #当前的l值
        for i in range(17):
            cur_l = cur_l + ( -y[i]*beta_T_x[i]+np.log(1+np.exp(beta_T_x[i])) )#计算当前3.27式的l值，这是目标函数，希望他越小越好
        #迭代终止条件
        if np.abs(cur_l - old_l) <= 0.000001:   #精度，二者差在0.000001以内就认为可以了，说明l已经很收敛了
            break               #满足条件直接跳出循环
    
        #牛顿迭代法更新β
        #求关于β的一阶导数和二阶导数
        n=n+1
        old_l = cur_l
        dbeta = 0
        d2beta = 0
        for i in range(17):
            dbeta = dbeta - np.dot(np.array([x[:,i]]).T,( y[i]-(  np.exp(beta_T_x[i])/(1+np.exp(beta_T_x[i])) ) )) #一阶导数
            d2beta =d2beta + np.dot(np.array([x[:,i]]).T,np.array([x[:,i]]).T.T) * (  np.exp(beta_T_x[i])/(1+np.exp(beta_T_x[i])) ) * (1-(  np.exp(beta_T_x[i])/(1+np.exp(beta_T_x[i])) ))
        beta = beta - np.dot(linalg.inv(d2beta),dbeta)
    print('模型参数是：',beta)
    print('迭代次数：',n)

3.运行结果  
![这里写图片描述][70 3]

来源  
[用对数几率回归实现周志华《机器学习》习题3.3西瓜分类，python编程][3.3_python]

[机器学习(周志华) 参考答案 第三章 线性模型 3.3][_ _ _ 3.3]

[70]: /images/20220515/cb8951e94564471783bf54f7ec2a700d.png
[3.0]: https://download.csdn.net/download/zzldm/10641217
[70 1]: /images/20220515/85cd0ea9d4b842609b864602df0679a7.png
[70 2]: /images/20220515/ed08b631d9c4488ba661084322463d26.png
[70 3]: /images/20220515/2a762f58f2654b4197000fa04039dae2.png
[3.3_python]: https://blog.csdn.net/onthewaygogoing/article/details/68485682
[_ _ _ 3.3]: https://blog.csdn.net/icefire_tyh/article/details/52068844