感知机

落日映苍穹つ 2022-05-25 09:43 298阅读 0赞

# 感知机 #

感知机是一种最简单的线性二分类模型，可以在输入空间（特征空间）将实例划分为正负两类。

感知机学习算法的原始形式

对于输入空间，感知机通过以下函数将其映射至\{+1，-1\}的输出空间

f(x)=sign(w⋅x+b)                       
对于所有的错分类点i∈M，都有−yi(w⋅xi+b)>0,因此我们可以定义如下的损失函数作为优化准则：

![20180512010851726][]

通过求解损失函数的梯度，

![20180512010900421][]

我们很容易就可以得到感知机学习算法的原始形式.

![20180512010949641][]

(1)   
整个算法流程如下：

1.   选取初值w0,b0

2.   在训练集中任意选取点(xi,yi)

3.   如果−yi(w⋅xi+b)>0则按照(1)式更新w,b

4.   重复2直到没有被误分的点

以上即为感知机算法的原始形式。

**感知机学习算法的对偶形式**

对偶形式的基本想法是，将w和b表示为实例xi 和标记 yi的线性组合的形式，通过求解其系数而求得w和b.

假设w0=0,b=0,那么从(1)式可以看出，当所有的点均不发生误判时，最后的w,b一定有如下的形式:

、 ![20180512011012932][]

其中αi=niη中ni代表对第i个样本的学习次数，感知机对偶形式的完整形式即为：

![20180512011028813][]

1.  初始化α=0,b=0.
2.  任意选取(xi,yi)
3.  如果,即发生误判，则对αi,b进行更新：

![20180512011037243][]

（注：此处对αi,bi的更新仅利用（xi，yi））

1.  重复2直到所有点都被正确分类

感知机的对偶形式就是把对w,b的学习变成了对α,b的学习，原始形式中，w在每一轮迭代错分时都需要更新，而采用对偶形式时，对于某一点(xi,yi)发生错分时，我们只需要更新其对应的αi即可，即可一次计算出w。   
原始形式和对偶形式对参数b的处理是相同的。

[20180512010851726]: /images/20220525/db6646a7c602455ebe89dd0d38d6de8e.png
[20180512010900421]: /images/20220525/fea45f571eff4e5b8adf1a015d56c0dc.png
[20180512010949641]: /images/20220525/60d84fc469e04faea82d7907d3097a0e.png
[20180512011012932]: /images/20220525/b829a62a31534f82b8890fb351501543.png
[20180512011028813]: /images/20220525/d8e37139bbe742c5a4214caeb68d459b.png
[20180512011037243]: /images/20220525/0d2832b568454841bb90ce3083c7c16e.png

发表评论取消回复

表情：

评论列表（有 0 条评论，298人围观）

还没有评论，来说两句吧...

相关阅读

相关机器学习-感知机

知机是1957年，由Rosenblatt提出，是神经网络和支持向量机的基础。感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知...

╰+攻爆jí腚メ/ 2024年04月19日 13:12/ 0 赞/ 63 阅读

相关感知机原理（Perceptron）

文章目录 * * 一、感知机的原理 * 二、感知机模型 * 三、感知机学习算法 * 四、小结感知机是SVM和神经...

╰半夏微凉°/ 2024年04月18日 14:43/ 0 赞/ 85 阅读

相关感知机的详解

一.感知机的主要思想 1.1感知机定义感知机是二分类的线性模型，其输入为实例的特征向量，输出为实例的类别，取+1或-1. 通过大量训练集来训练模型，最后得出最佳

系统管理员/ 2023年10月05日 13:49/ 0 赞/ 32 阅读

相关知识卡片感知机

![format_png][] 前言:本文介绍神经网络的基础算法感知机学习算法，并通过实例进行讲解。感知机 Perceptron 什么是感知机？ ![forma

灰太狼/ 2022年11月27日 06:58/ 0 赞/ 192 阅读

相关 20_感知机（单一感知机，多输出感知机）+ 推导

本部分来自课程+自己整理 1.16.感知机 1.16.1.单一感知机神经网络最简单的结构就是单输出的单层感知机，单层感知机只有输入层和输出层，分别代表了神经感受

小咪咪/ 2022年10月27日 06:16/ 0 赞/ 295 阅读

相关感知机

感知机感知机是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别（取+1和-1）。感知机对应于输入空间中将实例划分为两类的分离超平面。感知机旨在求出该超平面，为求

淩亂°似流年/ 2022年10月02日 12:52/ 0 赞/ 324 阅读

相关感知机

感知机感知机是一种最简单的线性二分类模型，可以在输入空间（特征空间）将实例划分为正负两类。感知机学习算法的原始形式对于输入空间，感知机通过以下函数将其映射

落日映苍穹つ/ 2022年05月25日 09:43/ 0 赞/ 299 阅读

相关深度学习之感知机

感知机作为神经网络的起源算法，在1957年是由美国学者Frank Rosenblatt 提出来的。其实，感知机也被称为“人工神经元”或“朴素感知机”，因为在一般情况下的处理都是

素颜马尾好姑娘i/ 2022年04月02日 03:39/ 0 赞/ 396 阅读

相关线性可分感知机

PLA全称是Perceptron Linear Algorithm，即线性感知机算法，属于一种最简单的感知机（Perceptron）模型。 import numpy

本是古典何须时尚/ 2022年03月01日 16:28/ 0 赞/ 298 阅读

相关 Pytorch 感知机

示例代码： import torch from torch.nn import functional as F x = torch.ran

痛定思痛。/ 2021年11月17日 06:20/ 0 赞/ 386 阅读