[机器学习][理论知识][实践]回归算法总结

我会带着你远行 2023-06-19 11:03 53阅读 0赞

### 文章目录 ###

*  1目标函数
 *  2损失函数
 *  3目标函数优化方式
 *  4线性回归
 *  5多项式扩展
 *  6线性回归+多项式扩展
 *  7Logistic回归
 *  8SoftMax回归
 *  9交叉验证
 *  10KNN

# 1目标函数 #

在算法模型优化的过程中，优化的方向函数，每次迭代优化的时候都让这个目标函数的值最小化，而我们的最优解其实是目标函数最小化的时候的取对应的参数值

# 2损失函数 #

一般情况下和目标函数是同一个，有时候损失函数表达的意义是指我们的模型参数给定的时候，预测和实际值之间的差距值

# 3目标函数优化方式 #

目标函数一般情况是凸函数，所以常有的优化方案是：最小二乘法、梯度下降法

# 4线性回归 #

从数据中找出特征矩阵X和目标属性Y之间的线性关系或者线性函数

# 5多项式扩展 #

主要功能是将低维空间数据映射到高维空间中

# 6线性回归+多项式扩展 #

1.  如果数据本身不是线性关系，那么直接使用线性回归模型效果不会太好，存在欠拟合
2.  数据在低维空间中不是线性关系，但是如果将数据映射到高维空间的时候，数据就有可能变成线性关系，从而就可以使用线性回归
3.  如果映射的维度特别高，那么数据就会完全变成线性的，从而训练出来的模型会非常契合训练数据，但是实际上的数据可能会和训练数据存在一定的差距，从而可能会导致模型在其他数据集上效果不佳，存在过拟合问题

**解决方案：**  
L1-norm, L2-norm

# 7Logistic回归 #

本质是二分法算法，计算样本x属于某一个类别的概率p，样本属于另外一个类别的概率为1-p  
最终认为的样本X属于概率最大的哪一个类型。eg：pi表示x属于i类别的概率，那么y=max\_i(pi,1-pi)，比如假设现在计算出来属于1类的概率为0.4，那么属于2类别的概率为0.6，那么可以认为x属于类别2

# 8SoftMax回归 #

Logistics区别：SoftMax是一个多分类算法，需要计算样本属于哪一个类别的概率，最终认为样本属于概率最大的那一个类别  
SoftMax会为每一个类别训练一个参数 θ \\theta θ向量，所以在SoftMax中需要求解的参数其实是一个由k个向量组成的 θ \\theta θ矩阵

# 9交叉验证 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3Njk1NjU5_size_16_color_FFFFFF_t_70]  
选择最优模型输出

# 10KNN #

相同或者相近的样本空间中是比较接近的，所以我们可以使用和当前样本比较接近的其他样本的目标属性值作为我们当前的预测值  
**预测规则：**  
分类：多数投票和加权的多数投票  
回归：平均和加权的平均  
注意：权重给定一般选择：权重和距离成反比  
**相似度量：**  
需要找相似的样本，认为样本的特征向量在空间中的点之间的距离就体现了样本之间的相似性，越近点越相似  
一般使用欧几里德距离  
**如何找最近邻的样本？**

1.  暴力方式：计算所有的样本到当前的样本距离，然后获取最近的k个样本
2.  KD Tree：通过建立KD Tree减少计算量

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3Njk1NjU5_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191206235322161.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3Njk1NjU5,size_16,color_FFFFFF,t_70