特征选择_过滤特征选择

野性酷女 2022-05-14 03:19 450阅读 0赞

一:方差选择法: 使用方差作为特征评分标准,如果某个特征的取值差异不大,通常认为该特征对区分样本的贡献度不大 因此在构造特征过程中去掉方差小于阈值特征

  1. from sklearn.datasets import load_iris
  2. iris=load_iris()
  3. print('iris特征名称\n',iris.feature_names)
  4. print('iris特征矩阵\n',iris.data)
  5. #特征选择——方差选择法
  6. from sklearn.feature_selection import VarianceThreshold
  7. vt = VarianceThreshold(threshold = 1)#threshold为方差的阈值,默认为0
  8. vt = vt.fit_transform(iris.data)#函数返回值为特征选择后的特征
  9. print('方差选择法选择的特征\n',vt)
  10. #小结:只保留第三列,其他的都去掉了

二.单变量特征选择 采用 卡方检验法(相关性)(分类问题) 使用统计量卡方检验作为特征评分标准, 卡方检验值越大,相关性越强(卡方检验是评判定性自变量对定性变量相关性的统计量)

  1. #载入数据
  2. from sklearn.datasets import load_iris
  3. iris = load_iris()
  4. #特征选择
  5. from sklearn.feature_selection import SelectKBest #移除topK外的特征
  6. from sklearn.feature_selection import chi2 #卡方检验
  7. skb = SelectKBest(chi2,k=2)
  8. new_data = skb.fit_transform(iris.data,iris.target)
  9. new_data
  10. #保留了第三列,第四列,其他的都去掉

三.单变量特征选择 采用 皮尔森相关系数法(相关性)(回归问题) 使用pearson系数作为特征评分标准。 相关系数绝对值越大,相关性越强(相关系数越接近1或-1时,相关系越强;相关系数越接近0时,相关性越弱) 特点:皮尔森相关系数能够衡量线性相关的特征集

  1. #载入数据
  2. from sklearn.datasets import load_iris
  3. irisdata = load_iris()
  4. #特征选择
  5. from sklearn.feature_selection import SelectKBest #移除topK外的特征
  6. from scipy.stats import pearsonr #计算皮尔森相关系数
  7. from numpy import array
  8. '''
  9. 函数返回值:保留topk特征,移除topk外的特征
  10. #第一个参数:皮尔森相关系数(输入特征矩阵和目标向量,输入二元组(评分,p),二数组第i项为第i个特征的评分和p值)
  11. #第二个参数:topk个数
  12. '''
  13. skb = SelectKBest(lambda X,Y:tuple(map(tuple,array(list(map(lambda x:pearsonr(x,Y),X.T))).T)),k=3)
  14. skb = skb.fit_transform(irisdata.data,irisdata.target)
  15. skb
  16. #保留三个特征

发表评论

表情:
评论列表 (有 0 条评论,450人围观)

还没有评论,来说两句吧...

相关阅读

    相关 特征选择 Python代码

    本文利用python实现RFE特征选择、基于树模型的特征选择、lasso回归特征选择、Chi2特征选择、特征间相关性进行特征选择、IV值特征选择,K-S值特征选择。并放到一个类

    相关 xgboost特征选择

    Xgboost在各[大数据][Link 1]挖掘比赛中是一个大杀器,往往可以取得比其他各种[机器学习][Link 2][算法][Link 3]更好的效果。数据预处理,特征工程,

    相关 决策树-特征选择

    决策树的特征选择标准有两种:信息增益,信息增益比 0.熵 指不稳定程度。熵越大,不稳定程度越高,则越容易分裂。决策树中也指某结点内含信息量较多,分类能力较差. 计算公式:

    相关 特征选择_过滤特征选择

    一:方差选择法: 使用方差作为特征评分标准,如果某个特征的取值差异不大,通常认为该特征对区分样本的贡献度不大 因此在构造特征过程中去掉方差小于阈值特征 f