sigmoid和softmax总结

迷南。 2022-06-17 00:23 229阅读 0赞

sigmoid函数（也叫逻辑斯谛函数）：  
　引用wiki百科的定义：

A logistic function or logistic curve is a common “S” shape (sigmoid curve).

其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。

![这里写图片描述][20161013124335936]

logistic曲线如下：  
　　![这里写图片描述][20161013123019537]

同样，我们贴一下wiki百科对softmax函数的定义：

softmax is a generalization of logistic function that “squashes”(maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1.

这句话既表明了softmax函数与logistic函数的关系，也同时阐述了softmax函数的本质就是将一个K  
维的任意实数向量压缩（映射）成另一个K

维的实数向量，其中向量中的每个元素取值都介于（0，1）之间。

softmax函数形式如下：  
　　![这里写图片描述][20161013124320607]

总结：sigmoid将一个real value映射到（0,1）的区间（当然也可以是（-1,1）），这样可以用来做二分类。  
而softmax把一个k维的real value向量（a1,a2,a3,a4….）映射成一个（b1,b2,b3,b4….）其中bi是一个0-1的常数，然后可以根据bi的大小来进行多分类的任务，如取权重最大的一维。

[20161013124335936]: /images/20220617/67c528662fcc49d7bcade978032318cb.png
[20161013123019537]: /images/20220617/ffe118a4d80146819e4da0725f999e32.png
[20161013124320607]: /images/20220617/67c470788dfc41fcb99ec6bcf95399df.png

发表评论取消回复

表情：

评论列表（有 0 条评论，229人围观）

还没有评论，来说两句吧...

相关阅读

相关深度学习基本概念softmax、sigmoid、均方误差、交叉熵

在神经网络的最后一层总用到的激活函数为softmax和sigmoid。在经过以上激活函数后，线性回归选用均方误差为损失函数，逻辑回归选择交叉熵为损失函数。以下代码使

今天药忘吃喽~/ 2023年10月11日 09:28/ 0 赞/ 38 阅读

相关 softmax与sigmoid的区别

softmax与sigmoid这两者之间区别其实还不小，还是先看两者结构上的区别： ![20200402095309404.png][] 可以看出最大的区别在于softma

浅浅的花香味﹌/ 2023年07月20日 08:24/ 0 赞/ 71 阅读

相关激活函数 Sigmoid、Tanh、ReLU、Softmax

![20191009191333910.png][] [日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Pa

红太狼/ 2023年07月02日 11:25/ 0 赞/ 26 阅读

相关 sigmoid和softmax函数的C++实现

float sigmoid(float x) { return (1 / (1 + exp(-x))); } float si

ゝ一世哀愁。/ 2022年09月30日 03:36/ 0 赞/ 376 阅读

相关深度学习常用激活函数之— Sigmoid & ReLU & Softmax

1. 激活函数 Rectified Linear Unit(ReLU) - 用于隐层神经元输出 Sigmoid - 用于隐层神经元输出 Softmax

末蓝、/ 2022年06月17日 00:24/ 0 赞/ 555 阅读

相关 sigmoid和softmax总结

　sigmoid函数（也叫逻辑斯谛函数）：　引用wiki百科的定义：　　A logistic function or logistic curve is a comm

迷南。/ 2022年06月17日 00:23/ 0 赞/ 230 阅读

相关【机器学习】softmax函数总结

> 原本以为softmax函数求导没啥难度的，结果自己写CNN的时候，梯度算的一直不对，查了半天才发现是因为softmax求导没求对。索性就开一篇Blog把softmax相关的

柔光的暖阳◎/ 2022年05月16日 02:15/ 0 赞/ 318 阅读

相关深度学习——激活函数-Sigmoid,Tanh,ReLu,softplus,softmax

转自：[激活函数-Sigmoid,Tanh,ReLu,softplus,softmax][-Sigmoid_Tanh_ReLu_softplus_softmax] PS:在学

ゞ浴缸里的玫瑰/ 2022年05月11日 06:48/ 0 赞/ 259 阅读

相关激活函数：阶跃函数、sigmoid函数、ReLU函数、softmax函数

之前提到的[激活函数][Link 1]是以阈值0（界限值）为界的，小于等于0，输出0，否则，输出1。类似于这样的切换输出函数被称之为“阶跃函数”。因此，可以说感知机的激活函数为

短命女/ 2022年04月02日 11:18/ 0 赞/ 798 阅读

相关 sigmoid,softmax,binary/categorical crossentropy的联系？

sigmoid和softmax是神经网络输出层使用的激活函数，分别用于两类判别和多类判别。 binary cross-entropy和categorical cross-en

不念不忘少年蓝@/ 2022年02月22日 04:53/ 0 赞/ 278 阅读