李航--《统计学习方法总结》

墨蓝 2021-11-30 00:22 272阅读 0赞

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>适用问题</th> 
   <th>模型特点</th> 
   <th>模型类型</th> 
   <th>学习策略</th> 
   <th>学习的损失函数</th> 
   <th>学习算法</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>感知机</td> 
   <td>二分类</td> 
   <td>分离超平面</td> 
   <td>判别模型</td> 
   <td>极小化误分点到超平面距离</td> 
   <td>误分点到超平面的距离</td> 
   <td>随机梯度下降</td> 
  </tr> 
  <tr> 
   <td>k紧邻算法</td> 
   <td>多类分类；回归</td> 
   <td>特征空间，样本点</td> 
   <td>判别模型</td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>朴素贝叶斯法</td> 
   <td>多类分类</td> 
   <td>特征与概率的联合概率分布，条件独立假设</td> 
   <td>生成模型</td> 
   <td>极大似然估计，极大后验概率估计</td> 
   <td>对数似然损失</td> 
   <td>概率计算公式，EM算法</td> 
  </tr> 
  <tr> 
   <td>决策树</td> 
   <td>多类分类，回归</td> 
   <td>分类树；回归树</td> 
   <td>判别模型</td> 
   <td>正则化的极大似然估计</td> 
   <td>对数似然估计</td> 
   <td>概率计算公式，EM算法</td> 
  </tr> 
  <tr> 
   <td>逻辑斯蒂回归与最大熵模型</td> 
   <td>多类分类</td> 
   <td>分类树，回归树</td> 
   <td>判别模型</td> 
   <td>极大似然估计，正则化极大似然估计</td> 
   <td>逻辑斯蒂损失</td> 
   <td>改进的迭代尺度算法，梯度下降，拟牛顿法</td> 
  </tr> 
  <tr> 
   <td>支持向量机</td> 
   <td>二类分类</td> 
   <td>分离超平面，核技巧</td> 
   <td>判别模型</td> 
   <td>极小化正则化合页损失，软间隔最大化</td> 
   <td>合页损失</td> 
   <td>序列最小最优化算法(SMO)</td> 
  </tr> 
  <tr> 
   <td>提升方法</td> 
   <td>二类分类</td> 
   <td>弱分类器的线性组合</td> 
   <td>判别模型</td> 
   <td>极小化加法模型的指数损失</td> 
   <td>指数损失</td> 
   <td>前项分步加法算法</td> 
  </tr> 
  <tr> 
   <td>EM算法</td> 
   <td>概率模型参数估计</td> 
   <td>含隐变量概率模型</td> 
   <td></td> 
   <td>极大似然估计，极大后验概率估计</td> 
   <td>对数似然损失</td> 
   <td>迭代算法</td> 
  </tr> 
  <tr> 
   <td>隐马尔可夫模型</td> 
   <td>标注</td> 
   <td>观测序列与状态序列的联合概率分布模型</td> 
   <td>生成模型</td> 
   <td>极大似然估计,极大后验概率估计</td> 
   <td>对数似然损失</td> 
   <td>概率计算公式,EM算法</td> 
  </tr> 
  <tr> 
   <td>条件随机场</td> 
   <td>标注</td> 
   <td>状态序列条件下观测序列的条件概率分布，对数线性模型</td> 
   <td>判别模型</td> 
   <td>极大似然估计，正则化似然估计</td> 
   <td>对数似然估计</td> 
   <td>改进的迭代尺度算法，梯度下降，拟牛顿法</td> 
  </tr> 
 </tbody> 
</table>