HALCON 20.11：深度学习笔记(4)--- 网络和训练过程

红太狼 2022-12-29 04:34 72阅读 0赞

## **HALCON 20.11****：深度学习笔记****(4)---** **网络和训练过程** ##

HALCON 20.11.0.0中，实现了深度学习方法。关于网络和训练过程如下：

在深度学习中，任务是通过网络发送输入图像来执行的。整个网络的输出由许多预测组成。例如，对于一个分类任务，预测得到的每个类的置信度，表示图像显示该类实例的可能性有多大。

具体的网络会有所不同，特别是从一种方法到另一种方法。一些方法，如对象检测，使用子网络生成特征图(参见下面和深度学习/对象检测中给出的解释)。在这里，我们将解释一个基本的卷积神经网络(CNN)。这种网络由一定数量的层或滤波器组成，这些层或滤波器按特定的方式排列和连接。一般来说，任何层都是执行特定任务的构建块。可以将它看作一个容器，它接收输入，根据函数转换输入，并将输出传入到下一层。因此，不同类型的层可以有不同的功能。在“分类解决方案指南”中给出了几个可能的例子。许多层或滤波器都有权重，参数也称为滤波器权重。这些是在网络训练过程中修改的参数。大多数层的输出都是feature map。因此，特征映射的数量(层输出的深度)和大小(宽度和高度)取决于特定的层。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdWJpbmc4NjA5_size_16_color_FFFFFF_t_70][]

**Schema of an extract of a possible classification network.**

**Below we show feature maps corresponding to the layers, zoomed to a uniform size.**

为了训练网络完成特定的任务，需要添加损失函数。不同的任务有不同的损失函数，但它们都按照以下原则工作。损失函数比较来自网络的预测与给定的信息，它应该在图像中找到什么(以及，如果适用，在哪里)，并惩罚偏差。然后滤波器的权值以使损失函数最小化的方式更新。因此，针对特定的任务训练网络，人们努力使网络的损失(一个错误函数)最小化，人们希望这样做也会改善性能度量。在实践中，这种优化是通过计算梯度和更新不同层的参数(滤波器权重)来实现的。这通过在训练数据上迭代多次来重复。

还有一些额外的参数会影响训练，但这些参数并不是在常规训练中直接学到的。这些参数在开始训练之前已经设置了值。我们将最后一种类型的参数称为**超参数**，以便将它们与训练期间优化的网络参数区分开来。请参阅“设置训练参数：超参数”一节。

为了从头训练所有的滤波器权重，需要大量的资源。因此，我们可以从以下观察中得到好处。第一层检测底层特征，如边缘和曲线。下面各层的特征映射较小，但它们代表更复杂的特征。对于一个大型网络，底层特征足够普遍，因此相应层的权值在不同任务之间不会有太大的变化。这就产生了一种称为**迁移学习**的技术：利用一个已经训练好的网络，再训练它以适应特定的任务，受益于较低层次已经相当合适的过滤权重。因此，所需的资源要少得多。虽然一般情况下，网络在大数据集上训练时应该更可靠，但再训练所需的数据量也取决于任务的复杂性。在分类的帮助下，迁移学习工作流程的基本架构如下图所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdWJpbmc4NjA5_size_16_color_FFFFFF_t_70 1][]

**Basic schema of transfer learning with the aid of classification.**

**(1) A pretrained network is read.**

**(2) Training phase, the network gets trained with the training data.**

**(3) The trained model with new capabilities.**

**(4) Inference phase, the trained network infers on new images.**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdWJpbmc4NjA5_size_16_color_FFFFFF_t_70]: /images/20221120/f984cbbe49ff47359b9409b22f4d2965.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdWJpbmc4NjA5_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201219203121483.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdWJpbmc4NjA5,size_16,color_FFFFFF,t_70