自然语言菜鸟学习笔记（五）：对神经元、神经网络的简单理解

爱被打了一巴掌 2022-02-16 04:37 118阅读 0赞

### 神经元： ###

神经元是神经网络的一部分。是神经网络的最小结构，经过一定的设置后就能构成逻辑回归模型

**从单个神经元来看：**

首先先从真实的神经元的图片来看：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjUyNjE5_size_16_color_FFFFFF_t_70][]

下图就是一个最基本的神经元，一个输出，多个输入

可以看到和上面的生理上的图片还蛮像的

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjUyNjE5_size_16_color_FFFFFF_t_70 1][]

可以看到中间的圆圈有两个步骤，一个步骤是权重和x相乘， 另外一个是做一个非线性，也就是激活函数，激活函数应用到上面去后，神经元就具体化了，成为一个模型（激活函数和非线性不在本文说明）

假设：

样本一 （input1: \[x1, x2.......\]，label1）

（label1代表标签，也就是正确的输出值，默认都了解）

经过激活函数H(x)得到一个预测值 y

Loss = label1 - y

去缩小Loss

### 多个神经元（神经网络）： ###

一个神经元可以用来做二分类的任务，多个神经元，可以用来做多分类的任务

从单个神经元到多个神经元的变化：

W ==> 从向量变成矩阵

W\*x ===> 从值变为向量

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjUyNjE5_size_16_color_FFFFFF_t_70 2][]

也就是神经网络（上图和经典的神经网络模型很像）：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjUyNjE5_size_16_color_FFFFFF_t_70 3][]

（画的不好见谅）

有一个神经元的时候就需要一个w向量，两个神经元需要两个w向量，w也就从向量变成了矩阵

原本二分类下是权重向量和输入向量相乘得到一个值和正确标签做loss，现在变成了

我们同样做一个过程假设：

有四个类别  label1， label2， label3， label4

假设样本1    （input1: \[x1, x2.......\]，label2）

input1向量分别和四个权重向量W\[0\], W\[1\], W\[2\], W\[3\]相乘得到四个预测值  y : \[ 0.1, 0.15, 0.2 , 0.4 \]， 概率0.4最大，模型预测的标签可能是最后一个

做Loss：

将label做one-hot编码：

\[1, 0, 0, 0\],    \# label1

\[0, 1, 0, 0\],    \# label2

\[0, 0, 1, 0\],    \# label3

\[0, 0, 0, 1\]     \# label4

那么对例子做一个loss：

Loss = 求和(绝对值（label2 - y）) = 1.55

缩小Loss

本菜鸟学习不好，如有不妥望各位大佬指点

如要转载请说明原文：[https://blog.csdn.net/qq\_36652619/article/details/89437256][https_blog.csdn.net_qq_36652619_article_details_89437256]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjUyNjE5_size_16_color_FFFFFF_t_70]: /images/20220216/c66352e934f24c66bb9f7ec40578b908.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjUyNjE5_size_16_color_FFFFFF_t_70 1]: /images/20220216/8282f090cca34de6b3dee3d314397c9c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjUyNjE5_size_16_color_FFFFFF_t_70 2]: /images/20220216/a4f22c9c63054a20a50e7c51ea13eeba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NjUyNjE5_size_16_color_FFFFFF_t_70 3]: /images/20220216/a6273d728dab40659b78886467d9a346.png
[https_blog.csdn.net_qq_36652619_article_details_89437256]: https://blog.csdn.net/qq_36652619/article/details/89437256