算法第一步：数据集分割

末蓝、 2022-12-07 01:17 166阅读 0赞

### 摘要：对于算法工程师，拿到数据经常要做的事，就是将数据分割成训练集或测试集便于使用，今天就总结下一般分割数据集的几种方法。 ###

### ①数据格式Dataframe，数据分割 ###

import random
    import numpy as np
    
    data = pd.read_csv("./dataNN.csv",error_bad_lines=False)
    data = np.array(data)
    # 这里np数据一定要用np.random.shuffle，不要用random带的shuffle，它不适用与shuffle
    np.random.shuffle(data)#随机打乱,
    
    #取前90%为训练集
    alldata = [d[0] for d in data]
    df1=data[:int(0.9*len(alldata))]
    #将np.array转为dataframe，并加上原数据集中的列名
    df1=pd.DataFrame(df1,columns=['url','label', 'sent', 'title'])
    #写入csv
    df1.to_csv("./train.csv",index=False)
    
    #剩余百分之10为测试集
    df2=data[int(0.1*len(alldata)):]
    df2=pd.DataFrame(df2,columns=['url','label','sent', 'title'])
    df2.to_csv("./test.csv",index=False)

### ②sklearn中的train\_test\_split ###

from sklearn.model_selection import train_test_split
    
    # X为数据，Y为标签，返回四个值
    Xtrain,Xtest,Ytrain,Ytest = train_test_split(X,Y,test_size=0.3,random_state=420)
    
    # 切分前数据标签的分布情况
    train_data.SeriousDlqin2yrs.value_counts()
    #切分后,训练集数据标签的分布情况
    pd.Series(Ytrain).value_counts()

发表评论取消回复

表情：

评论列表（有 0 条评论，166人围观）

还没有评论，来说两句吧...

相关阅读

相关 Qt--FFmpeg--第一步

参考：https://www.cnblogs.com/WushiShengFei/p/10837264.html 参考：https://blog.csdn.net/leix

迈不过友情╰/ 2023年06月24日 09:27/ 0 赞/ 31 阅读

相关爬取实例分割数据集

爬取Penn-Fudan的行人检测和分割数据集。Penn-Fudan数据集中有170张图像，包含345个行人的实例。爬取链接：[https://www.cis.upenn

谁践踏了优雅/ 2023年06月14日 05:24/ 0 赞/ 5 阅读

相关 mysql开始第一步_了解MySQL的第一步

MySQL基本概念：操作语句 ![1149c334e33c8e1fb9b9563a9947ea6a.png][] 1. 操作数据库：创建数据库: create da

客官°小女子只卖身不卖艺/ 2023年01月12日 07:40/ 0 赞/ 204 阅读

相关算法第一步：数据集分割

摘要：对于算法工程师，拿到数据经常要做的事，就是将数据分割成训练集或测试集便于使用，今天就总结下一般分割数据集的几种方法。 ①数据格式Dataframe，数据分割

末蓝、/ 2022年12月07日 01:17/ 0 赞/ 167 阅读

相关 VOC分割数据集数据增强

分割数据集的正常的数据增强方式：对原始数据和ground-truth做相同的增强变换，代码实现如下。对于原始数据进行增强的代码：my\_Augment\_data.m

痛定思痛。/ 2022年10月01日 13:47/ 0 赞/ 311 阅读

相关汇编第一步--入门

一，汇编程序的编写 (1),使用dos方式进入edit： DOS命令位置 —-“”开始位置“”–右键–>“”运行“”—->”cmd”—->输入edit—->回车。

待我称王封你为后i/ 2022年09月25日 15:28/ 0 赞/ 229 阅读

相关【计算机视觉】步态数据集

收集的几个步态识别（Gait Recognition）相关的数据集： ![SouthEast][] （转载请注明作者和出处：[http://blog.cs

迷南。/ 2022年08月27日 01:15/ 0 赞/ 188 阅读

相关 Heat入门第一步

Heat 类似于AWS的CloudFormation, 是OpenStack Orchestration进程的一个项目，OpenStack Orchestration旨在创建一

「爱情、让人受尽委屈。」/ 2022年07月13日 03:59/ 0 赞/ 310 阅读

相关 Titanic：数据挖掘入门的第一步

关键词：数据挖掘机器学习预测 Python 这个项目是[kaggle][]上的一个入门级项目，专门给新手做的，这个项目比较简单，但是涉及到了数据挖掘和机器学习的各个方面

缺乏、安全感/ 2022年06月03日 08:12/ 0 赞/ 276 阅读

相关大数据开发第一步：Hadoop基础学习

目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。基础概念大数据的本质

叁歲伎倆/ 2022年01月17日 14:37/ 0 赞/ 236 阅读