基于VGG-16的脑肿瘤检测与应用实现(代码详解）

逃离我推掉我的手 2022-10-10 13:58 274阅读 0赞

# 1.摘要 #

在 21 世纪，医疗保健提供者在脑肿瘤治疗以及对患者体内肿瘤的存在范围进行定性评估和确诊方面面临着重大挑战。无创磁共振成像 (MRI) 技术已成为无任何电离辐射的脑肿瘤的主要诊断工具。从MRI图像中进行确诊和手动特征提取脑肿瘤范围方法是一项非常耗时的任务，并且受限于操作者的经验，容易出现人为错误。尽管对疾病的化疗和治疗方法取得了一定的进步，但在临床对该疾病的确诊中仍旧存在一定的限制，因此需要对（脑）癌检测的工具进行优化，以便获得更为精准的召回率和准确率。计算机视觉和深度学习技术在最新进展中可用于实现肿瘤的自动检测，以提供准确的临床信息并减少放射科医生的误诊的情况。鉴于目前技术支持，我们提出了一种使用基于迁移学习的自动脑肿瘤检测方法。我们的方法使用MRI脑肿瘤数据进行了评估，采用交叉验证的实验结果表明我们的方法可以有效地实现肿瘤分类。最后，我们将训练好的模型加载到flask制做的页面中，以供医生进行使用。

# 2. 相关技术 #

## 2.1 恶性脑肿瘤 ##

恶性脑肿瘤是最致命的癌症病种之一，其可导致病人的认知功能下降，对患者生活的质量带来不利影响。成人最常见的原发性脑肿瘤是原发性中枢神经系统淋巴瘤和神经胶质瘤，占恶性病例的近 80%。 手动进行MRI图像的诊断非常耗时，往往受操作者经验限制，并且容易出现人为错误。简而言之，因为对患者的 MRI 图像进行准确评估的时间有限，放射科医师和肿瘤科医师无法控制诊断错误的变量，因此从 MRI 影像中检测到脑肿瘤结节并制定癌症诊断也成为一项具有挑战性的任务。

2.2 数据集描述

我们从 Google Open-Source Datasets 获取了脑肿瘤相关的数据集，拆分数据集，以便使用 239 张图像进行训练，用14 图像做交叉验证。 由于图像尺寸略有不同，我们应用opencv库的resize函数进行变换，使数据集中的所有图像都是 224 x 224，并将图像格式设置为 RGB。其下图为脑肿瘤和非肿瘤的图像。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70][] 非脑肿瘤

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 1][] 脑肿瘤

## 2.3 数据增强 ##

为了最大限度地利用我们的小容量数据集，我们将通过数据增强的方法扩充数据集大小，这样模型就永远不会看到两次完全相同的图片，这有助于防止模型出现过拟合现象并增强模型地泛化性。（使用 Keras 的 keras.preprocessing.image.ImageDataGenerator 函数，目标是在训练期间对图像数据进程增强）

## 2.4 防止过拟合 ##

数据增强是对抗过度拟合的一种方法，但这还不够，因为我们的增强的样本仍存在高度相关。对抗过度拟合的主要焦点应该是模型的熵容量。熵容量是指模型允许存储多少信息。一个可以存储大量信息的模型有可能通过利用更多特征而变得更准确，但开始存储不相关特征的风险也更大。为了调节熵容量，我们优化了模型中的参数数量（层数+每层的大小）。为了减少过拟合和泛化性能不强的特点，我们加入了 dropout 层。

# 3.模型数据 #

## 3.1 传统卷积神经网络模型与迁移学习模型 ##

传统经典的CNN模型结构如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 2][]

代码：

classifier = Sequential()
    classifier.add(Conv2D(32, (3, 3), input_shape=(256, 256, 3), activation='relu'))
    classifier.add(MaxPooling2D(pool_size=(2, 2)))
    classifier.add(Conv2D(32, (3, 3), activation='relu'))
    classifier.add(MaxPooling2D(pool_size=(2, 2)))
    classifier.add(Flatten())
    classifier.add(Dense(units=128, activation='relu'))
    classifier.add(Dense(units=2, activation='sigmoid'))

采用迁移学习的模型结构：网络模型VGG16的前几层采用已经在 ImageNet 数据库中超过一百万张图像进行了训练，接着在下载该模型的参数，放入 GlobalAveragePooling2D()池化结构中，该模型的结构如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 3][]

代码：

image_size = [224,224]
    data_path = 'Data'
    conv = VGG16(input_shape= image_size+[3],weights='imagenet',include_top=False)
    conv.output
    x = conv.output
    x = GlobalAveragePooling2D()(x)
    x = Dense(1024,activation='relu')(x)
    x = Dense(1024,activation='relu')(x)
    x = Dense(512, activation='relu')(x)
    pred = Dense(2,activation='softmax')(x)
    model = Model(inputs = conv.input,outputs=pred)
    model.summary()

## 3.2 实验结果分析 ##

迁移学习实验结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 4][] 准确率

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 5][] 损失函数

非迁移学习：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 6][] 准确率

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 7][] 损失函数

模型对比分析：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 8][]

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <th style="text-align:center;">模型</th> 
   <th style="text-align:center;">准确率</th> 
   <th style="text-align:center;">损失</th> 
  </tr> 
  <tr> 
   <td style="background-color:#ffffff;text-align:center;">迁移学习</td> 
   <td style="background-color:#ffffff;text-align:center;">97%</td> 
   <td style="background-color:#ffffff;text-align:center;">13%</td> 
  </tr> 
  <tr> 
   <td style="background-color:#ffffff;text-align:center;">没有采用迁移学习</td> 
   <td style="background-color:#ffffff;text-align:center;">76%</td> 
   <td style="background-color:#ffffff;text-align:center;">49%</td> 
  </tr> 
 </tbody> 
</table>

在比较不同训练模型结果时，我们发现，采用迁移学习后的深度神经网络得到了更高的诊断准确率，我们将在 Web 应用程序中实现这一点。

# 4.应用 #

本文利用Flask轻量级开发框架，逻辑层使用python语言以及Flask框架实现服务器端的业务逻辑；数据层使用与Flask适配良好的Sqlite3数据库工具，提供了访问和操作数据库的接口。将脑肿瘤检测的迁移学习模型部署到Web中，前端负责获取用户在页面上上传的图像并预处理，再向服务器发出AJAX请求，请求内容为待识别的图像。服务器端程序生成TF会话并加载训练好的模型，调用相应的视图函数将请求数据送入TF会话中计算，最后将识别结果异步回传到前端。实现流程如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 9][]

其实现界面如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 10][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 11][]

# 5.结论 #

鉴于我们可以精确地自动化检测患者是否存在脑肿瘤程，同时伴随着易于使用的用户界面（对于医生 + 患者），医院和患者将能够简化他们更早地检测出异常，并且能够辅助诊断，减少误诊。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70]: /images/20221005/8e77f55e5d514d7a89306da64df5aac7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 1]: /images/20221005/ffdb114cef514315b07a472c236d94dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 2]: /images/20221005/8bf0f26372654d57a8f1f39918cdf0a5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 3]: /images/20221005/bb4da9ec247e4d04b2963c3bbe9be597.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 4]: /images/20221005/c70d3492a333469a84bf409e6c2f5ad3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 5]: /images/20221005/ae9fb76c09e04afeb50c748f3ef6fde4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 6]: /images/20221005/0d78bbe231f24cc793e735fcd2a4aef6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 7]: /images/20221005/729c1a1cdf87402bb07fbf41ff9486a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 8]: /images/20221005/cd407273fb504fa68b79df328b2f842b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 9]: /images/20221005/4e144e16e7454d4aa728f7dcf73790f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 10]: /images/20221005/e70804230b194c17be12bcf2af18931d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 11]: /images/20221005/07e6aa684160440c8203bc91cc29ef57.png