[论文阅读]PIXER: an automated particle-selection method based on segmentation using deep neural network

偏执的太偏执、 2023-02-24 08:29 12阅读 0赞

## 背景 ##

### 目的： ###

*  To free researchers from laborious particle-selection work
 *  To acquire a large number of high-quality particles

### 现有工具： ###

Particle-selection tools：

*  Conventional computational vision(edge detection, feature extraction, template matching):  
    `Picker`, `RELION`, `XMIPP`
 *  Deep learning applications  
    `DeepPicker`, `DeepEM`, `FastParticlePicker`
    
     *  DeepPicker: 将颗粒挑选转化成图像分类问题，使用滑动窗口裁剪显微照片，将子图像分类为粒子或背景。使用其他分子作为训练数据。
     *  DeepEM: 需要手动挑选数百个颗粒用来做训练集。
     *  FastParticlePicker: 基于对象检测网络Fast R-CNN，性能主要依赖分类网络。
    
    传统视觉方法不适合于对比度和信噪比低的图像，当图像质量下降时算法的性能也显著下降。  
    近几年深度学习方法逐渐发展，通过使用大数据分析中的特征并从深度神经网络中生成分层特征，深度学习可以在计算视觉方面超越很多传统技术。

**以上的深度学习方法存在3个问题：**

1.  没有足够和多样化的训练集；
2.  基于滑动窗口可能会生成较多FP（把不是颗粒的检测成颗粒）图像，浪费时空资源；
3.  对于容纳低SNR图像的问题没有足够重视。

## 主要贡献 ##

1.  设计了一个分割网络将原图像转换成概率密度图，概率表示一个像素属于一个颗粒的可能性。概率值由周围的信息决定，比直接从原始噪声图像中直接选择会更鲁棒。
2.  因为之前没有用于颗粒分割的训练数据集，所以开发了一种自动方法来生成用于细分的训练集。并且为了丰富训练集的多样性，同时采用了真实显微照片和模拟数据。
3.  开发了一种基于网格的局部最大值方法来从概率密度图中获取粒子坐标。

*  Convert micrographs into probability density maps using a segmentation network. （pixel + picker = PIXER)
 *  Automated method to generate a training dataset for segmentation using real-world data.
 *  A grid-based, local-maximum method to locate the particles from the probability density maps.

## 结果 ##

1.  Test on simulated and real-world experimental datasets and compared PIXER with the mainstream methods RELION, DeepEM and DeepPicker to demonstrate its performance.
2.  PIXER can acquire results as good as the semi-automated methods RELION and DeepEM.

## 方法 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70]

主要分成两方面：**训练过程**和**测试过程**。  
分割网络是基于分类网络，先训练分类网络，将其参数用作分割网络的初始值来加速训练过程。

**测试过程分为三步：**

1.  将图像输入`分割网络`，从中获得`概率密度图`；
2.  用`基于网格的局部最大值法`从概率密度图中生成`初步粒子坐标`；
3.  将初步结果输入`分类网络`，以去除FP颗粒。  
    对应图中：  
    ① feed micrographs into the segmentation network;  
    ② acquire probability density maps from the network;  
    ③ feed density maps to a selection algorithm;  
    ④ generate the preliminary particle coordinates from probability density maps;  
    ⑤ feed the preliminary results into the classification network;  
    ⑥ generate the results after removing false positive particles

## 网络设计 ##

为了支持其他功能和多样性，作者在分类网络中使用了其他层和通道。  
绿色的是分类网络。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 1]

分类网络将粒子和非粒子图像都作为输入， 然后输出为粒子的概率。  
为了能够处理多尺度数据集的粒子，在分割网络中添加`Atrous convolution`（空洞卷积）。  
e.g.  
![卷积核为3、扩张率为2和无边界扩充的二维空洞卷积][3_2]  
Atrous rate:

> = 1: standard convolution  
> > 1: down-sampling effect

优点：

1.  较少参数，较低计算成本，提供更广视野；
2.  以不同Atrous rate，相同的kernel可以处理不同大小的对象。

分割网络中具有不同扩张率的多个`并行`空洞卷积通道（4个通道），确保能够处理**多尺度粒子**。

![生成用于分割的训练数据的工作流程][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 2]  
① 从显微照片中选择颗粒。 坐标可以来自手动或半手动粒子选择软件。  
② 使用RELION和EMAN等主流软件进行重建。  
记录微调的欧拉角和平移参数。  
③ 为每个粒子生成相应的重新投影图像。  
④ 根据平移参数调整坐标。  
⑤ 将这些重新投影的图像放回每张显微照片的标签图像中。

重建后，我们将高分辨率的重建结果视为GT，以生成具有对应欧拉角的重新投影图像。然后，根据平移参数调整重投影图像以适合所选粒子。 由于重投影背景具有较高的SNR，因此重投影的二值化表示相应粒子图像的分割结果。最后，我们使用粒子的坐标及其分割结果获得了显微照片的分割结果。

![采用的训练数据集，最后一列是仿真数据，其他为真实数据][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 3]  
![分割结果，第一行为仿真数据，其余为真实数据][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 4]

### 基于网格的局部极大值颗粒挑选法 ###

分割网络将显微照片作为输入，并输出相应的概率密度图。**下一步要根据概率密度图生成粒子坐标**。（尽量避免颗粒重叠、尽量快速）  
先将密度图中的每个像素转换为以其为中心的候选粒子的分数。 对于大小为s×s的候选粒子（以坐标（m，n）为中心）的得分为：  
 ( x , y ) = ∑ x = − s 2 s 2 ∑ y = − s 2 s 2 W x , y V m + x , n + y (x, y)=\\sum\_\{x=-\\frac\{s\}\{2\}\}^\{\\frac\{s\}\{2\}\} \\sum\_\{y=-\\frac\{s\}\{2\}\}^\{\\frac\{s\}\{2\}\} W\_\{x, y\} V\_\{m+x, n+y\} (x,y)=x=−2s∑2sy=−2s∑2sWx,yVm\+x,n\+y  
 V m , n V\_\{m,n\} Vm,n：密度图中 ( m , n ) (m, n) (m,n)对应的值  
 W x , y W\_\{x,y\} Wx,y：半径为s的高斯核（中心像素影响更大）

当粒子彼此靠近时，可以减少来自相邻颗粒的影响。  
![基于网格的局部最大粒子选择方法的过程][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 5]  
基于网格的局部最大粒子选择方法的过程:  
步骤1：为每个网格生成最大值。  
步骤2和3：执行并行局部最大值搜索方法以在迭代过程中定位局部最大值。  
步骤4：选择局部最大结果

每个线程涵盖一个候选最大值。在每次迭代中，将候选对象移动到搜索区域中的新最大值处。在多次迭代之后线程逐渐收敛到某个局部最大值。由于候选数目有限，并且使用GPU计算，所以计算过程只要几秒。

生成概率密度图的初步结果后，为了消除 False Positive 颗粒的影响，将初步结果输入到分类网络中，以重新评估数据。

![迭代过程可视化][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 6]  
![此算法和relion/deeppicker算法的对比][relion_deeppicker]  
©results from the PIXER and RELION methods. Circles and rectangles indicate results from PIXER and RELION. Red and blue crosses show the FP particles for PIXER and RELION.

(d)results from the DeepPicker and PIXER methods. Circles and rectangles denote results from PIXER and DeepPicker. Blue crosses indicate FP results of DeepPicker.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 7]

## Tips ##

1.  首个利用分割网络做自动化颗粒挑选的算法；
2.  利用分割网络生成概率密度图再挑选，不从原图像挑选；
3.  利用别的软件重建后重投影生成用来分割的数据集；
4.  使用了并行加速；
5.  基于caffe框架实现。

--------------------

A u t h o r : C h i e r Author: Chier Author:Chier

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70]: /images/20230209/5e9cd6ff28394fba93c5507ba9468ba7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 1]: /images/20230209/d8c677c37ac44665b1f55cd6f7fe6c52.png
[3_2]: /images/20230209/3704418e016a44ac9a891f563e3f4010.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 2]: /images/20230209/142178125863405ea56ccf92e9a599bb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/202007082222053.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200708222243300.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200708222603858.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200708222701416.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5,size_16,color_FFFFFF,t_70
[relion_deeppicker]: https://img-blog.csdnimg.cn/20200708222801922.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200708222741423.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5,size_16,color_FFFFFF,t_70