数据探索之数据质量分析

迈不过友情╰ 2022-05-29 00:06 534阅读 0赞

数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般指的是不符合要求，以及不能直接进行相应分析的数据。数据的质量分析侧重于脏数据的发现，而数据清洗则是对这些脏数据的修正或者丢弃。一般情况下，数据的质量分析与数据清洗是相伴而行的，在分析出脏数据的时候伴随着数据的清洗。

常见的脏数据包括如下：

### 1.缺失值 ###

##### 缺失值产生的一般由如下原因造成： #####

(1) 有些信息无法获取；

(2) 有些信息出现遗漏；

(3) 属性值不存在，有些情况下，缺失值并不意味着数据有错误。对一些对象来说某些属性值是不存在的，比如未结婚的配偶姓名。

##### 缺失值的影响： #####

(1) 数据挖掘建模将丢失大量有用数据；

(2) 数据挖掘模型所表现出来的不确定性更加显著，模型中蕴含的规律更难把我；

(3) 包含空值的数据会使得建模过程陷入混乱，导致不可靠的输出。

##### 如何发现缺失值 #####

那如何发现缺失值呢？pandas可以帮助我们轻松的完成任务。pandas使用浮点值NaN(Not a Number)表示浮点和非浮点数组中的缺失值，如下所示：

![20180313150143837][]

另外，Python内置的None值也会被当做NA处理：

![2018031315032139][]

### 2.异常值 ###

异常值是指数据是否有录入错误以及含有不合理的数据，这些是通常是样本中的个别值，其数值明显偏离其余的观测值，异常值也称之为离群点，异常值的分析也称为离群点分析。

常用的异常值分析方法如下：

(1) 简单统计量分析

对数据进行描述下统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理的范围。例如客户年龄最大值为200岁，则改数据存在异常。

pandas拥有一组常用的数学和统计方法可以实现简单的计量分析。

(2) 3σ原则

(3) 箱型图分析

### 3.不一致的值 ###

数据不一致是指数据的矛盾性、不相容性。直接对不一致的数据进行挖掘，可能会产生与实际相悖的挖掘结果。

不一致的数据产生主要发生在数据集成过程中，这可能是由于被挖掘的数据是来自不同的数据源、对于重复性存放的数据未能进行一致性更新造成。例如，两张表中都存储了用户的电话号码，但在用户的号码发生改变时只更新了一张表中的数据，那么两张表中就有了不一致的数据。

4.重复数据以及含有特殊符号的数据（如\#、￥、$、\*等）的数据

[20180313150143837]: /images/20220529/f897d08a9d674cb6a84c683e3c080ede.png
[2018031315032139]: /images/20220529/d8d177fce3aa47ae923e4c160c86bcba.png

发表评论取消回复

表情：

评论列表（有 0 条评论，534人围观）

还没有评论，来说两句吧...

相关阅读

相关 Oracle大数据分析：数据质量与分析精度问题

在Oracle大数据分析中，数据质量和分析精度确实是非常关键的问题。以下是这两个方面可能遇到的问题： 1. 数据质量问题： - 缺失值：可能存在某些字段的数据缺失，这会

男娘i/ 2025年02月14日 11:00/ 0 赞/ 1 阅读

相关使用matlab分析数据质量、特征

贴一下参考博文：[https://www.cnblogs.com/fangxiaoqi/p/11440078.html][https_www.cnblogs.com_fa...

缺乏、安全感/ 2024年04月18日 16:12/ 0 赞/ 92 阅读

相关利用数据质量规则库推动数据质量管理

　　不论是高校还是其他行业，管理信息系统数据质量的重要性不言而喻。在业务层面，数据质量问题不仅会影响单点业务的正常开展，还会影响与该业务相关的其他业务顺利开展；在决策层面，数据

素颜马尾好姑娘i/ 2023年06月12日 04:26/ 0 赞/ 53 阅读

相关数据仓库之数据质量监控

文章目录 ==数据质量的理解== ==数据质量维度== ==问题反馈流程== ==数据

我就是我/ 2022年11月29日 13:17/ 0 赞/ 301 阅读

相关爱奇艺数据质量监控的探索和实践

本文主要介绍数据治理平台中的规则引擎模块，包括当前规则引擎面临的问题、目标、异常检测的方法以及对后续规则引擎功能的探索。 01 问题和目标：为什么要进行数据质量监控？

Dear 丶/ 2022年09月15日 12:36/ 0 赞/ 278 阅读

相关数据探索之数据质量分析

数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般指的是不符合要求，以及不能直接进行相应分析的数据。数据的质量分析侧重于脏数据的发现，而数据清洗则是对这些脏数据的

迈不过友情╰/ 2022年05月29日 00:06/ 0 赞/ 535 阅读

相关数据探索

通过检验数据集的数据质量，绘制图表，计算某些特征量等手段，对样本的数据集的结构和规律性进行分析的过程就是数据探索。数据探索有助于选择合适的数据预处理和建模方法，甚至可以

旧城等待，/ 2022年05月21日 03:35/ 0 赞/ 343 阅读

相关数据分析之数据质量分析

数据分析的前提就是数据的质量，一个好的数据质量才是数据分析可靠性的必要保障。今天就来讨论一下数据质量的分析：数据质量分析的主要任务就是检查数据中是否存在脏数据，脏数据一般是

朱雀/ 2022年04月16日 07:07/ 0 赞/ 603 阅读

相关 Python数据挖掘过程之数据探索

数据探索根据观测、调查收集到初步的样本数据集后，接下来要考虑的问题是：样本数据集的数量和质量是否满足模型构建的要求？是否出现从未设想过的数据状态？其中有没有什么

约定不等于承诺〃/ 2022年02月17日 01:11/ 0 赞/ 370 阅读

相关 Datawhale -数据挖掘 - task 1 : 数据探索与分析

前言要求：数据切分方式 - 三七分，其中测试集30%，训练集70%，随机种子设置为2018 任务1：对数据进行探索和分析。时间：2天数据类型的分析无关特征删

客官°小女子只卖身不卖艺/ 2021年11月09日 00:36/ 0 赞/ 464 阅读