机器学习算法04 - 逻辑回归

左手的ㄟ右手 2022-01-23 10:19 308阅读 0赞

## 逻辑回归 ##

> 机器学习基本算法之一的逻辑回归方法的基本原理，其要点如下：

*  逻辑回归模型是对线性回归的改进，用于解决分类问题；
 *  逻辑回归输出的是实例属于每个类别的似然概率，似然概率最大的类别就是分类结果；
 *  在一定条件下，逻辑回归模型与朴素贝叶斯分类器是等价的；
 *  多分类问题时可以通过多次使用二分类逻辑回归或者使用 Softmax 回归解决。

> 逻辑回归 & 线性回归

从数学角度看，线性回归和逻辑回归之间的渊源来源于**非线性的对数似然函数**；而从特征空间的角度看，两者的区别则在于数据判定边界的变化。判定边界可以类比为棋盘上的楚河汉界，边界两侧分别对应不同类型的数据。

以最简单的二维平面直角坐标系为例。受模型形式的限制，利用线性回归只能得到**直线形式**的判定边界；逻辑回归则在线性回归的基础上，通过对数似然函数的引入使判定边界的形状不再受限于直线，而是推广为更加复杂的**曲线形式**，更加精细的分类也就不在话下。

> 逻辑回归 & 朴素贝叶斯分类器

*  同一个模型，不同结果

即便原理不同，逻辑回归与朴素贝叶斯分类器在特定的条件下依然可以等效。 朴素贝叶斯方法和逻辑回归模型学习到的是同一个模型。

逻辑回归与线性回归的关系称得上系出同门，与朴素贝叶斯分类的关系则是殊途同归。两者虽然都可以利用条件概率 P(Y|X) 完成分类任务，实现的路径却截然不同。

朴素贝叶斯分类器是**生成模型**的代表，其思想是先由训练数据集估计出输入和输出的联合概率分布，再根据联合概率分布来生成符合条件的输出，P(Y|X) 以**后验概率**的形式出现。

逻辑回归模型则是**判别模型**的代表，其思想是先由训练数据集估计出输入和输出的条件概率分布，再根据条件概率分布来判定对于给定的输入应该选择哪种输出，P(Y|X) 以**似然概率**的形式出现。

*  模型假设

两者的区别在于当朴素贝叶斯分类的**模型假设**不成立时，逻辑回归和朴素贝叶斯方法通常会学习到不同的结果。当训练样本数接近无穷大时，逻辑回归的渐近分类准确率要优于朴素贝叶斯方法。而且逻辑回归并不完全依赖于属性之间相互独立的假设，即使给定违反这一假设的数据，逻辑回归的条件似然最大化算法也会调整其参数以实现最大化的数据拟合。相比之下，逻辑回归的偏差更小，但方差更大。

*  收敛速度

两者的区别还在于**收敛速度**的不同。逻辑回归中参数估计的收敛速度要慢于朴素贝叶斯方法。

*  训练数据集

当**训练数据集**的容量较大时，逻辑回归的性能优于朴素贝叶斯方法；但在训练数据稀缺时，两者的表现就会发生反转。

发表评论取消回复

表情：

评论列表（有 0 条评论，308人围观）

还没有评论，来说两句吧...

相关阅读

相关机器学习—逻辑回归

文章目录一.简介二.逻辑函数公式 2.1 概率估算公式 2.2 逻辑函数 2.3 逻辑回归模型预测函数三

谁践踏了优雅/ 2024年04月01日 10:45/ 0 赞/ 74 阅读

相关机器学习之逻辑回归算法基础

介绍逻辑回归：Logistic Regression，Logit Regression，是一种分类算法，常用于处理二分类，用来表示某件事情发生的可能性。任务是尽可

青旅半醒/ 2022年11月07日 05:55/ 0 赞/ 213 阅读

相关机器学习算法之逻辑回归

目录线性回归做分类任务的问题逻辑回归详解逻辑回归名称的由来逻辑回归和线性回归的决策函数说一下sigmoid 逻辑回归决策函数结果中找分界线实现二分类

青旅半醒/ 2022年09月16日 01:20/ 0 赞/ 328 阅读

相关机器学习笔记之逻辑回归算法

1、总述逻辑回归是应用非常广泛的一个==分类机器学习算法==，它将数据拟合到一个logit函数(或者叫做logistic函数)中，从而能够完成对事件发生的概率进行预测。

悠悠/ 2022年06月09日 01:53/ 0 赞/ 243 阅读

相关【机器学习】逻辑回归 LR 算法整理

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlY29u

电玩女神/ 2022年06月01日 04:45/ 0 赞/ 658 阅读

相关 [机器学习]逻辑回归

在分类问题中,不能再直接代入y=kx+b\1这种. ![70][] 而是直接采用逻辑回归 1/1+(e^-z) 这个e为自然底数约等于2.178 z=thet

快来打我*/ 2022年05月31日 11:37/ 0 赞/ 289 阅读

相关机器学习算法系列(2)--逻辑回归

本文转载自[Logistic-Regression|endymecy][Logistic-Regression_endymecy] 逻辑回归一、二元逻辑回归回

男娘i/ 2022年05月17日 10:06/ 0 赞/ 298 阅读

相关机器学习基础100天---day04 逻辑回归

逻辑回归首先这是一个分类问题而不是一个回归问题。在给定自变量和超参数的情况下，得到因变量的期望，并基于此期望来处理预测分类的问题。因变量的取值是一个二元分布。 > 逻

今天药忘吃喽~/ 2022年05月12日 11:36/ 0 赞/ 163 阅读

相关机器学习-逻辑回归

基本知识 Sigmoid函数逻辑回归用于二分类任务, 我们在将特征的实值转化为分类的二元离散值时, 想要的最理想的函数是单位跃迁函数即: ![y=\\left

古城微笑少年丶/ 2022年05月10日 11:12/ 0 赞/ 312 阅读

相关机器学习算法04 - 逻辑回归

逻辑回归 > 机器学习基本算法之一的逻辑回归方法的基本原理，其要点如下：逻辑回归模型是对线性回归的改进，用于解决分类问题；逻辑回归输出的是实例属于每个类

左手的ㄟ右手/ 2022年01月23日 10:19/ 0 赞/ 308 阅读