keras 实现dense prediction 逐像素标注语义分割像素级语义标注 pixelwise segmention labeling classification 3D数据

一时失言乱红尘 2022-02-18 08:13 230阅读 0赞

主要是keras的示例都是图片分类。而真正的论文代码，又太大了，不适合初学者（比如我）来学习。

所以我查找了一些资料。我在google 上捞的。

其中有个[教程][Link 1]让人感觉很好.[更完整的教程][Link 2]。另一个[教程][Link 3]。

大概就是说，你的输入ground truth label需要是(width\*height,class number),然后网络最后需要加个sigmoid，后面用binary\_crossentrophy 损失函数。

在说白点就是图片原始标签可能是640,480,1.这样的，你先转成onehot 640,480,13（比如我有13类，一张图片有了一个三维的标注，真是fancy），然后再转成640\*480,13这个二维的标注，就是保持深度，图片拉成向量。

然后最后的网络，最后一层的激活函数，要用sigmoid配binary\_crossentrophy

或者是softmax 配catahorical\_crossentrophy

[官网][Link 4]说catagotical\_cross rntrophy:

**注意**: 当使用 `categorical_crossentropy` 损失时，你的目标值应该是分类格式 (即，如果你有 10 个类，每个样本的目标值应该是一个 10 维的向量，这个向量除了表示类别的那个索引为 1，其他均为 0)。 为了将 *整数目标值* 转换为 *分类目标值*，你可以使用 Keras 实用函数 `to_categorical`：

from keras.utils.np_utils import to_categorical 
    
    categorical_labels = to_categorical(int_labels, num_classes=None)

所以，我贴一下我的代码。这个代码最终的输出是原图的1/16大小，毕竟我们只是为了说明代码，而不是真的去发paper，越简单越好。

from __future__ import print_function
    import numpy as np
    import tensorflow as tf
    import matplotlib.pyplot as plt
    import os
    import keras
    import PIL
    from PIL import Image
    from keras import Model, Input, optimizers
    from keras.applications import vgg16, inception_v3, resnet50, mobilenet
    from keras.layers import Conv2D,Lambda,Reshape
    from keras.preprocessing.image import ImageDataGenerator, load_img
    
    #数据预处理
    #下面将我的label从2284*30*40*1 转成2284*1200*14的onehot编码
    #2284是图片数量
    #14是类别数量
    #img和lab是你的图片和标注图片。
    #img大小是2284*480*640*3
    #lab是2284*480*640
    #trainval_list是你的训练和validation数据序号列表，因为2284张图片包含了900多张测试图片，我需要筛一下
    img = img./255
    img_trainval = img[trainval_list, :, :, :]
    mini_lab = lab[:,::16,::16]
    
    sum = np.zeros(shape=(2284, 1200, 14))
    for i in range(2284):
        pic_lab = mini_lab[i, :, :]
        pic_flatten = np.reshape(pic_lab, (1, 1200))
        pic_onehot = keras.utils.to_categorical(pic_flatten, 14)
        sum[i] = pic_onehot
    lab_trainval = sum[trainval_list, :, :]
    
    
    #网络结构是非常简单的
    os.environ['CUDA_VISIBLE_DEVICES']='0'
    resnet_model = resnet50.ResNet50(weights = 'imagenet', include_top=False,input_shape = (480,640,3))
    layer_name = 'activation_40'
    res16 = Model(inputs=resnet_model.input, outputs=resnet_model.get_layer(layer_name).output)
    input_real = Input(shape=(480,640,3))
    sgd = optimizers.SGD(lr=0.001, decay=1e-6, momentum=0.9, nesterov=True)
    x = res16(input_real)
    x = Conv2D(14, (1, 1), activation='relu')(x)
    sig_out = Conv2D(14,(1,1),activation = 'sigmoid')(x)
    out_reshape = Reshape((1200,14))(sig_out)
    
    
    #配置训练参数
    model_simple1 = Model(inputs=input_real, outputs=out_reshape)
    model_simple1.summary()
    model_simple1.compile(loss="binary_crossentropy", optimizer=sgd, metrics=['accuracy','categorical_accuracy'])
    model_simple1.fit(x=img_trainval, y=lab_trainval, epochs=200, shuffle=True, batch_size=2)

训练过程：这里必须说明的是，我把未标注类也加入训练了，所以其实这个代码对于我的数据库还是需要修改的。慢慢来。先解决3D数据的问题好吧。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70][]

网络结构忘给了：

warnings.warn('The output shape of `ResNet50(include_top=False)` '
    _________________________________________________________________
    Layer (type)                 Output Shape              Param #   
    =================================================================
    input_2 (InputLayer)         (None, 480, 640, 3)       0         
    _________________________________________________________________
    model_1 (Model)              (None, 30, 40, 1024)      8589184   
    _________________________________________________________________
    conv2d_1 (Conv2D)            (None, 30, 40, 14)        14350     
    _________________________________________________________________
    conv2d_2 (Conv2D)            (None, 30, 40, 14)        210       
    _________________________________________________________________
    reshape_1 (Reshape)          (None, 1200, 14)          0         
    =================================================================
    Total params: 8,603,744
    Trainable params: 8,573,152
    Non-trainable params: 30,592
    _________________________________________________________________

[Link 1]: https://stackoverflow.com/questions/42118821/cross-entropy-loss-for-semantic-segmentation-keras/55704441#55704441
[Link 2]: https://towardsdatascience.com/a-keras-pipeline-for-image-segmentation-part-1-6515a421157d
[Link 3]: https://blog.keras.io/category/tutorials.html
[Link 4]: https://keras.io/zh/losses/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70]: /images/20220218/eb23079b69a94252841fd9adac5c409c.png