神经网络基础

怼烎@ 2022-10-07 11:48 124阅读 0赞

神经网络结构图如下图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTk0OTkyOA_size_16_color_FFFFFF_t_70_pic_center]

上图神经网络共有3个层次，输入层3个神经元，隐藏层即中间层4个神经元，输出层2个神经元。需注意，在神经网络中输入层、输出层的节点数量往往是固定的，中间层可自由指定。在此结构图中，最重要的是连接线，不是神经元！最重要的是连接线，不是神经元！最重要的是连接线，不是神经元！每个连接线均代表一个不同的权重，是通过训练所得。  
神经网络计算过程中通常先有一个前向传播步骤，接着是一个反向传播步骤。我们将用逻辑回归来表达解释为什么神经网络可分为前向传播和反向传播两个独立部分。  
**逻辑回归**  
逻辑回归是一个用于二分类的算法。比如，我们现在要输入一张图片，判断这张图片是不是猫，输出1，表示这是猫，输出0则表示这不是猫。这是一个典型二分类问题。我们将预测的结果标签用 *y* 表示  
首先，我们需要知道图片在计算机中是通过RGB三色通道保存的，即红、绿、蓝三色通道。如果图片大小为64*64像素，那么，我们就有三个规模为64*64的矩阵，分别对应R、G、B三种像素强度值。然后，我们需要将这些像素值提取出来，放入一个特征向量  x x x 中去。那么一张64*64像素转换后的特征向量  x x x 的维度为64*64\*3，即12288。我们用  n n n 表示输入特征向量  x x x 的维度。  
下面将专门罗列一些符号的定义  
 x x x：表示一个  n n n 维数据，为输入数据，维度为( n n n,1)；  
 y y y：表示输出结果，取值为（0,1）；  
 ( x ( i ) , y ( i ) ) (x^\{(i)\},y^\{(i)\}) (x(i),y(i))：表示第  i i i 组数据，可以为训练数据，也可能表示测试数据，默认为训练数据；  
 X = \[ x ( 1 ) , x ( 2 ) , . . . , x ( m ) \] X=\[x^\{(1)\},x^\{(2)\},...,x^\{(m)\}\] X=\[x(1),x(2),...,x(m)\]：表示所有训练数据集的输入值，放在一个  n x × m n\_\{x\}\\times m nx×m 的矩阵中，其中 m m m表示样本数量；  
 Y = \[ y ( 1 ) , y ( 2 ) , . . . , y ( m ) \] Y=\[y^\{(1)\},y^\{(2)\},...,y^\{(m)\}\] Y=\[y(1),y(2),...,y(m)\]：对应表示所有训练数据集的输出值，维度为 1 × m 1\\times m 1×m

现在，给定一个输入特征向量 X X X，它对应一张图片，我们需要去识别这张图片是猫还是非猫，这就需要一个算法来输出预测，通常使用  y ^ \\hat\{y\} y^ 表示预测结果，也就是表示图片实际值  y y y 等于1的概率。在逻辑回归中， y ^ = w T x + b \\hat\{y\}=w^\{T\}x+b y^=wTx\+b，其中参数  w w w 表示特征权重，为 n x n\_\{x\} nx维向量，参数b表示偏差，为一个实数。既然 y ^ \\hat\{y\} y^表示概率，那么它的值应该在(0,1)之间，而 y ^ = w T x + b \\hat\{y\}=w^\{T\}x+b y^=wTx\+b的结果可能大于1，也可能小于0，这个时候为了确保 y ^ \\hat\{y\} y^值在（0,1）之间，就需要用到**sigmoid**函数，将线性函数转换为非线性函数，记作 y ^ = σ ( w T x + b ) \\hat\{y\}=\\sigma (w^\{T\}x+b) y^=σ(wTx\+b)，即预测值 y ^ \\hat\{y\} y^是用训练样本 w T x ( i ) + b w^\{T\}x^\{(i)\}+b wTx(i)\+b通过**sigmoid**函数得到的。其中**sigmoid**函数为 1 1 + e − x \\frac\{1\}\{1+e^\{-x\}\} 1\+e−x1，函数图像如下图所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTk0OTkyOA_size_16_color_FFFFFF_t_70_pic_center 1]

在训练逻辑回归模型中，需要一个代价函数（也称成本函数），我们通过训练代价函数来得到参数w和参数b。而一个算法的代价函数是对  m m m 个样本的损失函数求和然后除以  m m m 得到的。损失函数也称误差函数，主要用来衡量算法的运行情况。而逻辑回归模型的损失函数为：  
 L ( y ^ , y ) = − y l o g ( y ^ ) − ( 1 − y ) l o g ( 1 − y ^ ) L(\\hat\{y\},y)=-ylog(\\hat\{y\})-(1-y)log(1-\\hat\{y\}) L(y^,y)=−ylog(y^)−(1−y)log(1−y^)  
下面介绍为什么要使用这个函数作为逻辑回归的损失函数。  
首先，损失函数的作用是用来衡量预测输出值与实际值接近程度的，所以我们就需要让这个误差尽可能地小。  
这个损失函数得作用如下。  
当  y y y 等于1时，损失函数  L = − l o g ( y ^ ) L=-log(\\hat\{y\}) L=−log(y^)，如果想让损失函数尽可能地小，那么  y ^ \\hat\{y\} y^ 要尽可能大，而**sigmoid**函数函数取值范围为\[0,1\]，所以  y ^ \\hat\{y\} y^ 会无限接近1。  
当  y y y 等于0时，损失函数  L = − l o g ( 1 − y ^ ) L=-log(1-\\hat\{y\}) L=−log(1−y^)，如果想让损失函数尽可能地小，那么  y ^ \\hat\{y\} y^ 要尽可能小，而**sigmoid**函数函数取值范围为\[0,1\]，所以  y ^ \\hat\{y\} y^ 会无限接近0。  
在深度学习中，汗多函数效果与之类似，即如果  y y y 等于1，我们就尽可能让  y ^ \\hat\{y\} y^ 变大；如果  y y y 等于0，我们就尽可能让  y ^ \\hat\{y\} y^ 变小。  
损失函数是在单个训练集中定义的，它衡量的是算法在单个训练样本中的运行情况，为了衡量算法在全部训练样本中的表现，便需要定义一个算法的代价函数，代价函数是对  m m m 个样本的损失函数求和然后除以  m m m ，是参数的总代价，函数公式如下：  
 J ( w , b ) = 1 m ∑ i = 1 m L ( y ^ ( i ) , y ( i ) ) = 1 m ∑ i = 1 m ( − y ( i ) l o g ( y ^ ( i ) ) − ( 1 − y ( i ) ) l o g ( 1 − y ^ ( i ) ) ) J(w,b)=\\frac\{1\}\{m\}\\sum\_\{i=1\}^\{m\}L(\\hat\{y\}^\{(i)\},y^\{(i)\})=\\frac\{1\}\{m\}\\sum\_\{i=1\}^\{m\}(-y^\{(i)\}log(\\hat\{y\}^\{(i)\})-(1-y^\{(i)\})log(1-\\hat\{y\}^\{(i)\})) J(w,b)=m1i=1∑mL(y^(i),y(i))=m1i=1∑m(−y(i)log(y^(i))−(1−y(i))log(1−y^(i)))  
在训练逻辑回归模型时，我们需要找到合适的  w w w 和  b b b ，让代价函数  J J J 的总代价降到最低。  
（未完待续）

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTk0OTkyOA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221005/a109be894ca94295961da9d54e834d52.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTk0OTkyOA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221005/887bca52af7245428ac4051a3a2735ff.png