医疗AI落地必备！腾讯优图开源业界首个3D医疗影像大数据预训练模型

「爱情、让人受尽委屈。」 2021-11-05 01:36 346阅读 0赞

![640?wx\_fmt=png][640_wx_fmt_png]

近日，腾讯优图首个医疗AI深度学习预训练模型**MedicalNet**正式对外开源。这也是全球第一个提供多种3D医疗影像专用预训练模型的项目，将为全球医疗AI发展提供基础。

许多研究表明，深度学习的发展非常依赖数据量。自然图像领域中存在着许多海量数据集，如ImageNet，MSCOCO。基于这些数据集产生的预训练模型推动了分类、检测、分割等应用的进步。不同于自然图像，医疗影像大部分都是3D结构形态的，同时，由于数据获取和标注难度大，数据量稀少，目前尚未存在海量数据集及对应的预训练模型。

MedicalNet（https://github.com/Tencent/MedicalNet）是腾讯优图首个专为3D医疗影像在深度学习应用上所开发的一系列预训练模型，为任何3D医疗影像AI应用起到“打地基”的作用，加快模型收敛，减轻模型对数据量的依赖，MedicalNet具备以下特性：

1. MedicalNet提供的预训练网络可迁移到任何3D医疗影像的AI应用中，包括但不限于分割、检测、分类等任务；

2. 尤其适用小数据医疗影像AI场景，能加快网络收敛，提升网络性能；

3. 通过简单配置少量接口参数值，即可进行微调训练；

4. 项目提供多卡训练以及测试评估代码，接口丰富，扩展性强；

5. 提供不同深度3D ResNet预训练模型，可供不同数据量级应用使用。

为了产生3D医疗影像的预训练模型，MedicalNet聚集多个来自不同3D医疗领域的语义分割小规模数据集，并提出了基于多分支解码器的多域联合训练模型来解决数据集中的标注缺失问题。我们的预训练模型可以迁移到任何3D医疗影像应用的深度学习模型中。整个系统的工作流程如下图所示：

![640?wx\_fmt=png][640_wx_fmt_png 1]

我们将MedicalNet模型迁移到预训练时未接触过的Visceral和LIDC数据集中，完成全新的肺部分割和肺结节分类任务，并与目前常用的从零训练（train from scratch）以及Kinetics视频3D预训练模型在性能以及收敛速度上做了比较。在肺部分割应用上，相比于Train from Scratch,MedicalNet在Dice上有16%到33%幅度的提升，相比于Kinetics有4%到7%幅度的提升。在肺结节良恶性分类应用上，相比于Train from Scratch，MedicalNet有6%到23%幅度的预测正确率（Acc）提升，相比于Kinetics有7%到20%幅度的提升。

在收敛速度上，实验证明，无论是在肺分割任务还是肺结节分类任务上，MedicalNet均能为模型提供一个较低的初始化损失值，明显加快损失下降速度，下图为MedicalNet性能的一个简单示例，展示了在全器官分割应用中，不同预训练方式在一定训练迭代次数下的测试结果。可以看出，基于我们的预训练模型（MedicalNet）的结果最接近标签（ground truth），且远优于从零训练（train from scratch）的结果，更多细节请参考论文（Chen, Sihong, Kai Ma, and Yefeng Zheng. "Med3D: Transfer Learning for 3D Medical Image Analysis." arXiv preprint arXiv:1904.00625 (2019).）。

![640?wx\_fmt=gif][640_wx_fmt_gif]

随着人工智能的火热化，医疗影像AI也成为了当前各应用领域中最热门的版块。区别于其他人工智能应用，人工智能在医疗领域的应用门槛最高，最大的原因在于标注数据的匮乏。医疗影像数据的获取通常需要经历重重关卡，同时，由于领域的专一性，数据通常需要资深医师标注，而每个3D数据的标注耗时耗力。在当前紧张的医护资源下，医疗影像数据的获取战线将非常漫长，**大大阻碍了应用落地的进程。**再者，标注数据量相当有限，**大部分医疗部门都需要面临数据量稀少和深度学习之间的鸿沟。**** **

专有领域专有模型，MedicalNet相当于为各个3D医疗影像应用准备了具备临床通用知识的数据库。即使在小数据量中，该数据库的有效特征也能帮助落地应用取得较好的医疗检测性能，这大大减轻医疗影像AI应用对数据量的依赖，**实现了落地需求，加快了落地速度。**

MedicalNet是腾讯在医疗AI领域的首个开源项目，后续也将继续提供更多类型的模型，为全球医疗AI的基础建设助力。

截至2019年8月，腾讯已在Github上发布81个开源项目，包含腾讯AI、微信、腾讯云、腾讯安全等相关领域，并累计在 Github 获得了超过23万Star数，在国内和国际收获了关注和认可。

MedicalNet 正式开源

Github 开源地址：

https://github.com/Tencent/MedicalNet

（点击文末阅读原文直接访问）

请给 MedicalNet 一个 Star !

欢迎提出你的 issue 和 PR！

NeuralClassifier 国内镜像地址：

https://git.code.tencent.com/Tencent\_Open\_Source/MedicalNet

![640?wx\_fmt=png][640_wx_fmt_png 2]

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

[640_wx_fmt_png]: /images/20211104/0d3b22e342f245079256a5ea6ab59594.png
[640_wx_fmt_png 1]: /images/20211104/2ff47d43a84d4fba8cae70a9d98a5c39.png
[640_wx_fmt_gif]: /images/20211104/260242c701bb4c54b5c2a257384555f6.png
[640_wx_fmt_png 2]: /images/20211104/fa0194b8a9fe45f0b42175bfa18df00e.png
[640_wx_fmt_jpeg]: /images/20211104/7b6f5d5f49164396b22c1e9242a34673.png