机器学习之逻辑回归

超、凢脫俗 2022-08-26 13:19 354阅读 0赞

# 一、什么是逻辑回归？ #

回归的解释：

解释一：假设现在有一些数据点，我们用一条直线对这些点进行拟合，这个拟合过程就称为回归。

解释二：观察所有训练样本点(x,y)符合哪种公式，例如符合y = ax + b，回归就是对该公式的未知参数进行估计，和解释一类似。

逻辑的解释：

从字面意思看逻辑就是计算机中的0和1。但这里的解释是：逻辑回归用到了sigmoid函数，此函数也成为logistic函数，该函数能够将数值映射到0到1之间。

# 二、怎么用逻辑回归分类，为什么要用sigmoid函数进行分类？ #

逻辑回归一般用于两分类问题，当某个数大于阈值时，判为一类；某个数小于阈值时，判为另一类。单位阶跃函数很符合上述目的，可惜该函数很难物理实现，就用性质类似的sigmoid函数代替单位阶跃函数。如图该函数形状很像单位阶跃函数。

![20140410165359500][]

# 三、logistic回归可以看成是一种概率估计，怎么理解这句话？ #

逻辑回归中利用sigmoid函数将数值映射到0到1之间，我们可以理解为将数值归一化，归一化后的值和概率值（0-1之间）看起来一样，其实没有必然的联系。

# 四、为什么要进行归一化？ #

一般用在对一个物体的多个特征值进行归一化，使这几个特征具有可比性。

**举例说明：**

假设我们根据当地的鞋子销量、治安情况和当地运输成本来判断是否适合在当地开店。

鞋子销量：几百双到几千双；治安情况：用0-1之间的数；运输成本：几千元到几万元不等

如果我们根据特征值的平方根来判断是否在当地开店，由于鞋子销量和运输成本值特别大，而治安情况值特别小，我们会忽略掉治安情况这个特征，但实际中这几个特征同等重要，怎么体现同等重要，那就要将这几个特征值进行归一化后进行比较。

# 五、为什么求出代价函数的最小值时的参数即为最佳的拟合参数？为什么用梯度下降法？ #

拟合直线方程和代价函数方程：

![线性回归模型-我爱公开课—52opencouse.com][-_52opencouse.com]

当求出代价函数的最小值时，即此时拟合直线值和真实值最接近，拟合的效果最好，所以此时求出的参数就是最佳的拟合参数。

梯度下降法用于求函数的最小值，我们需要求出代价函数J的最小值，所以我们将二者结合使用。

# 六、随机梯度法和梯度下降法的联系 #

梯度下降法又称最速下降法。

随机梯度法，对应现代信号处理中LMS算法(Least Mean Square)，其基本思想：在最速下降法的基础上，用瞬时平方误差的梯度代替均方误差梯度的估计值。

说明一点：瞬时梯度值时真实梯度值的无偏估计。

# 七、一般都是用梯度下降法求损失函数的最小值，为何这里用梯度上升法呢？ #

参考：[http://blog.csdn.net/dongtingzhizi/article/details/15962797][http_blog.csdn.net_dongtingzhizi_article_details_15962797]

# 八、什么是Normal Equations #

参考：[http://www.cnblogs.com/fxjwind/p/3626173.html][http_www.cnblogs.com_fxjwind_p_3626173.html]

从此得出：

1、对于线性回归，也可以不用这种迭代最优的方式来求解，可以通过normal equations直接算出θ

2、解释为何线性回归的损失函数会选择最小二乘

3、真实值应该是以预测值为中心的一个正态分布

4、给出θ似然性的定义 [![image][]][image 1]    
给定训练集X和参数θ，预测结果等于真正结果的概率，等同于该θ为真实θ的可能性（似然性）

5、最小二乘回归被认为是进行最大似然估计的一个很自然的方法

参考文献：

[公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归“][Link 1]

[Coursera公开课笔记: 斯坦福大学机器学习第六课“逻辑回归”][Coursera_]

[Logistic regression （逻辑回归） 概述][Logistic regression _]

[20140410165359500]: /images/20220824/013b4c09afc344c48f519c69e9e0536d.png
[-_52opencouse.com]: /images/20220824/d5734231b9d747d8847c648257aedb1f.png
[http_blog.csdn.net_dongtingzhizi_article_details_15962797]: http://blog.csdn.net/dongtingzhizi/article/details/15962797
[http_www.cnblogs.com_fxjwind_p_3626173.html]: http://www.cnblogs.com/fxjwind/p/3626173.html
[image]: /images/20220824/b91b6650b0454fb2992e135955149698.png
[image 1]: http://images.cnitblog.com/blog/312753/201403/271625536719792.png
[Link 1]: http://52opencourse.com/83/coursera%E5%85%AC%E5%BC%80%E8%AF%BE%E7%AC%94%E8%AE%B0-%E6%96%AF%E5%9D%A6%E7%A6%8F%E5%A4%A7%E5%AD%A6%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AC%AC%E4%BA%8C%E8%AF%BE-%E5%8D%95%E5%8F%98%E9%87%8F%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92-linear-regression-with-one-variable
[Coursera_]: http://52opencourse.com/125/coursera%E5%85%AC%E5%BC%80%E8%AF%BE%E7%AC%94%E8%AE%B0-%E6%96%AF%E5%9D%A6%E7%A6%8F%E5%A4%A7%E5%AD%A6%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AC%AC%E5%85%AD%E8%AF%BE-%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92-logistic-regression
[Logistic regression _]: http://hi.baidu.com/hehehehello/item/40025c33d7d9b7b9633aff87