基于scikit-learn工具的交叉检验 — cross_validation模型

我不是女神ヾ 2022-07-28 09:34 158阅读 0赞

### 1. 何为交叉检验 ###

在进行数据挖掘的工作或者比赛中，通常都是给定一个train训练数据集和一个test测试数据集，然后采用一个或多个模型对train进行训练，最后将训练完成得到的模型用于test 的预测。然后问题来了，我们怎么确定我们对train 训练的模型是优秀的呢？  
那么我们会想到从原来的train 数据集中分成两部分 train\_1,train\_2,拿train\_1去训练，然后将训练完成的结果带入另一部分train\_2去验证。因为这时另一部分也是有target的，所以可以验证出模型的效果。  
但是这样也有一个弊端，因为我们一直在将模型优化到使train\_2 的结果越来越好的状态，可是我们的最终目的是要预测test, 而我们不停的优化train\_2的结果很可能会造成在train\_2 上的过拟合。因此我们不能只分一份来做验证，而是采用多份数据去验证，然后求平均；这样就避免了对谋一份验证数据的过拟合。这就叫交叉检验。

下面我主要介绍通过sklearn中的cross\_validation 来做交叉检验

### 2. cross\_validation ###

### 2.1 cross\_validation.KFold ###

KFold(n,n_fold=3,shuffle=False,random_state=None)

*  n 样本个数
 *  n\_fold 分为多少份，至少为2，每份样本个数相同

例1

from sklearn import cross_validation
    k_fold = cross_validation.KFold(n=12,n_folds=4)
    for train_indices,test_indices in k_fold:
        print train_indices,test_indices

例2

from sklearn import cross_validation
    from sklearn import datasets,svm
    digits = datasets.load_digits()
    X_digits = digits.data
    y_digits = digits.target
    clf = svm.SVC(kernel='linear',C=1)
    k_fold = cross_validation.KFold(len(X_digits),n_folds=10)
    print [clf.fit(X_digits[train],y_digits[train]).score(X_digits[test],y_digits[test]) for train ,test in k_fold]

还有一个函数，可以不需要写for循环，直接得到结果

cross_validation.cross_val_score(clf,X_digits,y_digits,cv=10)

### 2.2 cross\_validation.StratifiedKFold ###

StratifiedKFold 是kFold 的变形，它划分的时候是将每个类别的相同比例的样本进行搭配作为1个fold,

StratifiedKFold(y,n_folds=3,shuffle=False,random_state=None)

*  y 样本标签

例子

import numpy as np
    from sklearn import cross_validation
    X=np.array([[1,2],[3,4],[1,2],[3,4],[1,2],[3,4],[1,2],[3,4]])
    y=np.array([0,0,1,1,0,0,1,1])
    skf = cross_validation.StratifiedKFold(y,n_folds=4)
    for skf1,skf2 in skf:
        print skf1,skf2