常见的深度学习面试题及解答(三)

àì夳堔傛蜴生んèń 2023-02-26 06:24 8阅读 0赞

**往期回顾**

[常见的深度学习面试题及解答(一)][Link 1]  
  [常见的深度学习面试题及解答(二)][Link 2]

--------------------

**1. 怎样提升网络的泛化能力？**

1.  从数据上提升性能：收集更多的数据，对数据做缩放和变换，特征组合。
2.  从算法调优上提升性能：用可靠的模型诊断工具对模型进行诊断，权重的初始化，用小的随机数初始化权重。对学习率进行调节，尝试选择合适的激活函数，调整网络的拓扑结构，调节batch和epoch的大小，添加正则化的方法，尝试使用其它的优化方法，使用早停法。

**2. 什么是 seq2seq model？**

seq2seq属于encoder-decoder 结构的一种，利用两个RNN，一个作为编码，一个作为解码。编码负责将输入序列压缩成指定长度的向量，这个向量可以看作这段序列的语义，而解码负责根据语义向量生成指定的序列。

**3. 激活函数的作用？**

激活函数就是用来加入非线性因素的，提高神经网络对模型的表达能力，解决线性模型所不能解决的问题。

**4. 梯度消失梯度爆炸？**

[面试之深度学习中的梯度下降和梯度爆炸][Link 3]

**5. RNN容易梯度消失，怎么解决？**

1.  **梯度裁剪：** 既然在BP过程中会产生梯度消失(就是偏导无限接近0，导致长时记忆无法更新)，那么最简单粗暴的方法，设定阈值，当梯度小于阈值时，更新的梯度为阈值。
2.  **LSTM**

**6. LSTM与RNN有什么区别？**

1.  哪些细胞状态应该被遗忘
2.  哪些新的状态应该被加入
3.  根据当前的状态和现在的输入，输出应该是什么

**7. 卷积层和池化层有什么区别？**

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>卷积层</th> 
   <th>池化层</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>功能</td> 
   <td>提取特征</td> 
   <td>压缩特征图，提取主要特征</td> 
  </tr> 
  <tr> 
   <td>操作</td> 
   <td>卷积操作会改变输入特征图的通道数</td> 
   <td>不会改变输入的通道数</td> 
  </tr> 
  <tr> 
   <td>特征</td> 
   <td>权值共享：减少参数的数量，并利用了图像目标的位置无关性</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

[神经网络之卷积和池化(一)][Link 4]  
[神经网络之卷积和池化(二)][Link 5]

**8. 面试之深度学习中的过拟合问题**

[面试之深度学习中的过拟合问题][Link 6]

**9. CNN为什么比DNN在图像识别更好？**

DNN的输入是向量形式，并未考虑到平面的信息结构；CNN的输入可以是tensor，例如二维矩阵，通过filter获得局部特征，较好的保留了平面结构信息。

**10. 神经网络为什么要用到交叉熵？**

交叉熵就是用来判定实际的输出与期望的输出的接近程度。

[Link 1]: https://blog.csdn.net/weixin_43283397/article/details/105130298
[Link 2]: https://blog.csdn.net/weixin_43283397/article/details/105466962
[Link 3]: https://blog.csdn.net/weixin_43283397/article/details/104808786
[Link 4]: https://blog.csdn.net/weixin_43283397/article/details/104637537
[Link 5]: https://blog.csdn.net/weixin_43283397/article/details/104642187
[Link 6]: https://blog.csdn.net/weixin_43283397/article/details/104845128