【代码】deeplabv3+ model train 模型训练代码全网最详细解析

客官°小女子只卖身不卖艺 2024-04-18 18:11 74阅读 0赞

目前你已经看完了，会改数据输入部分的代码了。

那么模型代码还需要看。

**目录**

train.py包含了方法：

调用关系：

model.py包含的方法：

model.py被调用,（）表示跨py文件调用

数据的传递：

首先在train.py中：

于是我们看下主角 model.py

multi\_scale\_logit:

\_get\_logit调用了三个方法

refine\_by\_decoder

get\_branch\_logits

train\_utils

--------------------

# train.py包含了方法： #

\_build\_deeplab  
\_tower\_loss  
\_average\_gradients  
\_log\_summaries  
\_train\_deeplab\_model  
main

# 调用关系： #

train.py :main->\_train\_deeplab\_model->tower\_loss->\_build\_deeplab

train.py:\_train\_deeplab\_model->\_average\_gradient

train.py:\_build\_deeplab->\_log\_summaries

# model.py包含的方法： #

get\_extra\_layer\_scopes  
predict\_labels\_multi\_scale  
predict\_labels  
multi\_scale\_logits  
extract\_features  
\_get\_logits  
refine\_by\_decoder  
get\_branch\_logits

# model.py被调用,（）表示跨py文件调用 #

1.(train.py \_build\_deeplab)->(model.py multi\_scale\_logits):

model.py: multi\_scale\_logit->\_get\_logits->extract\_features+refine\_by\_decoder+get\_branch\_logit

2.(train.py \_train\_deeplab\_model)->(model.py get\_extra\_layer\_scopes)

3.(train.py main)->(model.py get\_extra\_layer\_scopes)

# 数据的传递： #

## 首先在train.py中： ##

main函数生成了dataset实例：

dataset = data_generator.Dataset(
              dataset_name=FLAGS.dataset,
              split_name=FLAGS.train_split,
              dataset_dir=FLAGS.dataset_dir,
              batch_size=clone_batch_size,
              crop_size=[int(sz) for sz in FLAGS.train_crop_size],
              min_resize_value=FLAGS.min_resize_value,
              max_resize_value=FLAGS.max_resize_value,
              resize_factor=FLAGS.resize_factor,
              min_scale_factor=FLAGS.min_scale_factor,
              max_scale_factor=FLAGS.max_scale_factor,
              scale_factor_step_size=FLAGS.scale_factor_step_size,
              model_variant=FLAGS.model_variant,
              num_readers=2,
              is_training=True,
              should_shuffle=True,
              should_repeat=True)
    
          train_tensor, summary_op = _train_deeplab_model(
              dataset.get_one_shot_iterator(), dataset.num_of_classes,
              dataset.ignore_label)

\_train\_ddeeplab\_model 调用 \_build\_deeplab()则将image通过调用model.py multi\_scale\_logits传递图像：

def _build_deeplab(iterator, outputs_to_num_classes, ignore_label):
      """Builds a clone of DeepLab.
    
      Args:
        iterator: An iterator of type tf.data.Iterator for images and labels.
        outputs_to_num_classes: A map from output type to the number of classes. For
          example, for the task of semantic segmentation with 21 semantic classes,
          we would have outputs_to_num_classes['semantic'] = 21.
        ignore_label: Ignore label.
      """
      samples = iterator.get_next()
    
      # Add name to input and label nodes so we can add to summary.
      samples[common.IMAGE] = tf.identity(samples[common.IMAGE], name=common.IMAGE)
      samples[common.LABEL] = tf.identity(samples[common.LABEL], name=common.LABEL)
    
      model_options = common.ModelOptions(
          outputs_to_num_classes=outputs_to_num_classes,
          crop_size=[int(sz) for sz in FLAGS.train_crop_size],
          atrous_rates=FLAGS.atrous_rates,
          output_stride=FLAGS.output_stride)
    
      outputs_to_scales_to_logits = model.multi_scale_logits(
          samples[common.IMAGE],
          model_options=model_options,
          image_pyramid=FLAGS.image_pyramid,
          weight_decay=FLAGS.weight_decay,
          is_training=True,
          fine_tune_batch_norm=FLAGS.fine_tune_batch_norm,
          nas_training_hyper_parameters={
              'drop_path_keep_prob': FLAGS.drop_path_keep_prob,
              'total_training_steps': FLAGS.training_number_of_steps,
          })

# 于是我们看下主角 model.py #

multi\_scale\_logit是一个处理多尺度输入的模块，负责将初始的图片裁剪，之后输入到\_get\_logit方法中，该方法再将图片处理成纯逻辑输出或者是类别输出。

model.py: **multi\_scale\_logit**\->\_get\_logits->extract\_features+refine\_by\_decoder+get\_branch\_logit

## multi\_scale\_logit: ##

主要功能就是处理multi\_scale 的输入，就是放缩输入图像，能提高准确率。

outputs_to_logits = _get_logits(
            scaled_images,
            updated_options,
            weight_decay=weight_decay,
            reuse=tf.AUTO_REUSE,
            is_training=is_training,
            fine_tune_batch_norm=fine_tune_batch_norm,
            nas_training_hyper_parameters=nas_training_hyper_parameters)

model.py: multi\_scale\_logit->**\_get\_logits**\->extract\_features+refine\_by\_decoder+get\_branch\_logit

## \_get\_logit调用了三个方法 ##

这三个方法分别负责：提取特征，decode，卷积到最终结果（channel数=通道数）。

对tensor进行处理。输入是图片，输出直接就是类别概率了。由于voc数据一共21类，包括背景，所以输出通道21.

看一下tensor大小的变化就明白了：

（？，512,512,3）->**extract\_features**\->（？，33,33，256）->**refine\_by\_decoder**\->(?,129,129,256)->**get\_brach\_logit**\->(?,129,129,21)

## refine\_by\_decoder ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70][]

上面这个红框是decode 的过程。可以观察到：

*  有两个输入。
 *  有两个层次的特征图，一个是16倍小的，一个是四倍小的。
 *  将经过aspp与原始的不经过的特征concatenate。

**refine\_by\_decoder完成了论文中upsample之前的内容：**返回的feature大小是（129\*129\*256）128，也就是1/4的512

注意，这里如果decoder\_output\_stride是None的话，就会不进行decoding，通常来讲，应该是16或者8.（在train.sh中设置）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 1][]

## get\_branch\_logits ##

将（129\*129\*256）的tensor处理为（129,129,21）的tensor，这里限制了atrous rate非None，那么kernel size只能是1。

如果有多个atrous rate那么最后就会add\_n逐元素相加。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 2][]

最终\_get\_logits return的是一个（?,129,129,21）的tensor。

而multi\_scale\_logits返回的也是（？，129，129,21）的tensor。为什么呀。。。。明明应该是513 513 的。因为标签是513的这样不匹配损失没法算。于是我们看下损失的计算。

\_build\_deeplab:

for output, num_classes in six.iteritems(outputs_to_num_classes):
        train_utils.add_softmax_cross_entropy_loss_for_each_scale(
            outputs_to_scales_to_logits[output],
            samples[common.LABEL],
            num_classes,
            ignore_label,
            loss_weight=1.0,
            upsample_logits=FLAGS.upsample_logits,
            hard_example_mining_step=FLAGS.hard_example_mining_step,
            top_k_percent_pixels=FLAGS.top_k_percent_pixels,
            scope=output)

这里考虑到有多个scale，所以需要计算多个交叉熵。

## train\_utils ##

唯一还能纠正输出维度的机会就在train\_utils里面。那么在计算交叉熵损失的函数：

train_utils.add_softmax_cross_entropy_loss_for_each_scale里面，可以看到，这里的确是上采样了，label是一直没动的！！！

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 4][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/8f8ceee0fd4a491887588846a76a1478.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/d18babe1a07a4805888e42036ddf251f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/844aa6fe782f4f77a02f7e448306a68a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/0ba5e38e56554062b2516ee87e18f05b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/e2a389a24d0149c68ff10cbe1213bd7a.png