【数据分布】分类任务中的数据分布分析（实战）

淩亂°似流年 2023-01-17 06:22 146阅读 0赞

分类任务中分析数据分布，分析样本是否均衡等。以下为例，目录如下：

train
        1
        2
        3
       ...
        n

train目录下，包含n个类，每个类目录下，有很多图片。我们的目的是统计目录下的数目，然后画直方图：

'''
    @author: mengting gu
    @contact: 1065504814@qq.com
    @time: 2021/4/26 下午3:40
    @file: data_distribute.py
    @desc: 
    '''
    import os
    import matplotlib.pyplot as plt
    
    def file_list_data_distribute(filelist):
        """
    
        Parameters
        ----------
        filelist : train | id1, id2, id3
    
        Returns : [len(id1), len(id2), len(id3)]
        -------
    
        """
        d = {}
        for i, files in enumerate(os.listdir(filelist)):
            num_files_rec = 0
            jpg_path = os.path.join(filelist, files)
            print("jpg_path : {}".format(jpg_path))
            for file in os.listdir(jpg_path):
                if file[-4:] == ".jpg":
                    num_files_rec += 1
                # print("file : {}".format(file))
            d[str(i)] = num_files_rec
        print(d)
        return d
    
    
    if __name__ == '__main__':
        file_path = "./train/"
        d = file_list_data_distribute(filelist=file_path)
        plt.bar(d.keys(), d.values())
        plt.show()
        # plt.hist(d.values(), bins=20, edgecolor='k', alpha=0.7)  # 设置直方边线颜色为黑色，不透明度为 0.35
        # plt.show()

发表评论取消回复

表情：

评论列表（有 0 条评论，146人围观）

还没有评论，来说两句吧...

相关阅读

相关使用Matlab求解数据的概率分布

使用Matlab求解数据的概率分布在Matlab中，有多种方法可以用来求解数据的概率分布。下面将介绍几种常用的方法，并提供相应的源代码示例。 1. 直方图法

向右看齐/ 2024年03月04日 00:52/ 0 赞/ 108 阅读

相关 java运行数据区域分布

Java在运行程序过程中，会将自己的内存划分为若干个不同的数据数据区域，这些若干个区域，每个区域都有自己的用途，具体看下图 ![f19dfb15b8f44db3bd109b5

拼搏现实的明天。/ 2023年10月02日 23:50/ 0 赞/ 45 阅读

相关长尾分布数据的理解

文章目录一、前言二、长尾分布数据 2.1 什么是长尾分布 2.2 解决办法 2.2.1 数据级方法

梦里梦外;/ 2023年09月27日 15:15/ 0 赞/ 126 阅读

相关数据分析系列：分布分析法&用户留存分析法

本文部分内容来自[数据分析（4）：分布分析法&用户留存分析法][4]，并在此基础上加入看了一些自己的理解和看法。一、分布分析法原文总结了几种划分方式，具体的划分还是

柔情只为你懂/ 2023年07月24日 02:04/ 0 赞/ 29 阅读

相关【数据分布】分类任务中的数据分布分析（实战）

分类任务中分析数据分布，分析样本是否均衡等。以下为例，目录如下： train 1 2 3 ...

淩亂°似流年/ 2023年01月17日 06:22/ 0 赞/ 147 阅读

相关 Oracle分析函数——数据分布函数及报表函数

Oracle分析函数——数据分布函数及报表函数 [http://blog.csdn.net/a9529lty/archive/2009/12/06/4951018.as

墨蓝/ 2022年07月13日 09:55/ 0 赞/ 142 阅读

相关浅谈HBase的数据分布

1. 数据分布问题简述分布式产生的根源是“规模”，规模可理解为计算和存储的需求。当单机能力无法承载日益增长的计算存储需求时，就要寻求对系统的扩展方法。通常有两种扩展方式

Love The Way You Lie/ 2022年05月08日 11:38/ 0 赞/ 251 阅读

相关 kudu数据分布推荐配置

kudu最多可以支持300个服务器。但是，为了获得最高的稳定性，建议tablet服务器不超过100个。建议每个tablet服务器最多包含2000个tablet(包

ゝ一纸荒年。/ 2022年01月22日 06:17/ 0 赞/ 245 阅读

相关分布式存储系统的数据分布算法

前言分布式存储系统面临着的首要问题，就是如何将大量的数据分布在不同的存储节点上。无论上层接口是 KV 存储、对象存储、块存储、亦或是列存储，在这个问题上大体

快来打我*/ 2022年01月12日 02:51/ 0 赞/ 283 阅读

相关数据分布

数据分布哈希分布顺序分布哈希分布哈希分布就是将数据计算哈希值之后，按照哈希值分配到不同的节点上。例如有 N 个节点，数据的主键为 key，

爱被打了一巴掌/ 2021年10月19日 14:44/ 0 赞/ 287 阅读