深度学习——恒等函数和softmax函数

一时失言乱红尘 2024-02-19 12:09 16阅读 0赞

**恒等函数**和**softmax函数**这两个函数多用于输出层的激活函数

其中分类问题多用softmax函数，回归方程多用恒等函数

ps:分类问题可类比为分类图像，比如区分人，车，手机等物体；

回归问题可类比为房价和地区，大小等因素成正比

#### 1. 恒等函数：输出=输入 ####

![70][]

#### 2. softmax函数：输出为一个函数 ####

![70 1][]

其中exp为指数函数，ak代表第k个输出神经元的输入，ai代表第i个输出神经元的输入，公式分子表示ak的指数函数，分母表示所有输出神经元的输入指数函数的和

#### 2.1 softmax函数的注意事项 ####

在计算指数时，比如e的5000次方，数据将会非常大，计算机处理“数”时，数值必须在4字节或8字节的有限数据宽度内，超出的数据则会显示为无穷（inf），所以要对softmax函数进行改进，防止数据的溢出

![70 2][]

如图中，将分子分母同时乘以C，然后将C提进指数函数中，图中用的logC理解成数学中的lnC，然后用C'代替logC，通过控制C'来控制exp函数中的指数，来实现softmax函数不因为数据过大而出错

#### 2.2 softmax函数意义 ####

通过公式我们可以知道softmax函数得出的结果的和为1，换一种说法，即每个输出神经元的输出是这个神经元的概念，比如现在有两个神经元，y1输出为0.2，y2输出为0.8，则代表y1的概率为20%，y2的概率为80%，若y1代表汽车，y2代表人，则表示有80%概率是人

[70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/4bac74e7518f4cb8a41666fa0a270113.png
[70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/a36dcc5fe29549da9e29d48e9b97f568.png
[70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/a141e4f63b424d1e964ece633f46a8a6.png

发表评论取消回复

表情：

评论列表（有 0 条评论，16人围观）

还没有评论，来说两句吧...

相关阅读

相关 [log_softmax]——深度学习中的一种激活函数

\[log\_softmax\]——深度学习中的一种激活函数随着人工智能技术的发展，深度学习已经成为了众多领域的热点研究方向。在深度学习中，激活函数是非常重要的组成部分之一

拼搏现实的明天。/ 2024年03月26日 20:44/ 0 赞/ 89 阅读

相关深度学习——恒等函数和softmax函数

恒等函数和softmax函数这两个函数多用于输出层的激活函数其中分类问题多用softmax函数，回归方程多用恒等函数 ps:分类问题可类比为分类图像，比如区分人，车，手机

一时失言乱红尘/ 2024年02月19日 12:09/ 0 赞/ 17 阅读

相关深度学习常用激活函数之— Sigmoid & ReLU & Softmax

1. 激活函数 Rectified Linear Unit(ReLU) - 用于隐层神经元输出 Sigmoid - 用于隐层神经元输出 Softmax

末蓝、/ 2022年06月17日 00:24/ 0 赞/ 594 阅读

相关 softmax函数

softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组V，Vi表示

桃扇骨/ 2022年05月23日 12:24/ 0 赞/ 309 阅读

相关深度学习笔记：激活函数和损失函数

这一部分来探讨下激活函数和损失函数。在之前的logistic和神经网络中，激活函数是sigmoid, 损失函数是平方函数。但是这并不是固定的。事实上，这两部分都有很多其他不错的

我就是我/ 2022年05月23日 10:04/ 0 赞/ 288 阅读

相关 mnist softmax函数

-- coding: utf-8 -- 读取数据图片，预处理 import tensorflow as tf impor

快来打我*/ 2022年05月19日 05:08/ 0 赞/ 263 阅读

相关 MNIST softmax函数

使用softmax函数使用[mnist数据集][mnist] -- coding: utf-8 -- 读取数据图片，预处

傷城~/ 2022年05月19日 01:59/ 0 赞/ 216 阅读

相关【机器学习】softmax函数总结

> 原本以为softmax函数求导没啥难度的，结果自己写CNN的时候，梯度算的一直不对，查了半天才发现是因为softmax求导没求对。索性就开一篇Blog把softmax相关的

柔光的暖阳◎/ 2022年05月16日 02:15/ 0 赞/ 344 阅读

相关深度学习——激活函数-Sigmoid,Tanh,ReLu,softplus,softmax

转自：[激活函数-Sigmoid,Tanh,ReLu,softplus,softmax][-Sigmoid_Tanh_ReLu_softplus_softmax] PS:在学

ゞ浴缸里的玫瑰/ 2022年05月11日 06:48/ 0 赞/ 296 阅读

相关 softmax 函数

机器学习分为两种，一种是做分类，一种是做回归。softmax函数就是用来做分类的。 softmax 函数定义： ![20190813225013710.png][]

我就是我/ 2021年11月02日 13:08/ 0 赞/ 430 阅读