数据挖掘的基本概念：数据库、数据仓库、机器学习，统计学

た入场券 2022-07-16 00:20 220阅读 0赞

“数据挖掘“(Data Mining)又被称为“数据中的知识发现”（KDD），顾名思义，也就是通过数据清理、数据集成、数据选择、数据变换、数据挖掘、模式评估、知识表示等一些列步骤，对数据进行分类、聚类，发现其中的关联关系或者离群点，来发现新的知识。

### 1、数据类型 ###

上世纪70-80年代，“**数据库**”技术的发展而产生的数据库管理系统，方便用户进行关系型的数据管理，用户可以进行SQL查询等数据操作，**关系型数据库实际上就是二维表**；然而对于大型的跨地域公司，要汇总各个地方数据库却不容易，于是就产生了“**数据仓库**”，数据仓库将数据库的数据进行整合，下钻（drill down）和上卷（roll up）操作可以得到详细信息和汇总信息，由此诞生了高级数据库系统和高级数据分析， **数据仓库可以看做是数据立方体（Data Cube）**。20世纪90年代，万维网迅速发展，各式各类的数据类型出现，时间序列数据、超文本和多媒体数据（图片、视频、声音），空间数据（地图），网状数据（社会关系网络）等各种复杂的非结构化数据，总之，可以大致的将数据挖掘的数据类型分为以下几类：  
**（１）数据库 数据**  
**数据库系统**，又称为**数据库管理系统（DBMS）**，是一种关系型数据库，又不同的表组成，每一个表有一个唯一的“**关键字**标识”来表示一个对象，每个对象有又若干属性，每个对象及其属性构成一个“**元组**”。

![这里写图片描述][20160924190721362]  
表１.１　一个二维表  
对于一个学生关系表，学号是唯一的“关键字标识”，姓名、性别、院系、年级都是属性，每一行都是一个“元组”。  
**（２）数据仓库　数据**  
![这里写图片描述][20160924191456928]数据立方体  
数据仓库的数据格式可以看做是一个数据立方体，是一个多维的数据结构，如图有三个维度，分别是时间维、机构维、指标维。对数据立方体进行切片可以得到截面数据，竖直方向切片可以得到周一（Monday）三个地方借记卡情况。  
下钻是对数据的具体化，如对时间维下钻，可以得到周一10:00至14:00的四个小时内的借记卡使用情况；  
上卷又称上钻，是对数据汇总，对机构维上卷，可以得到中国借记卡使用情况。  
**（3）事务数据**  
事务数据库数据中每个记录是一个事务，如淘宝的一次订单。  
**（4）其他数据**  
数据库一般是结构化的数据，还有许多非结构化数据。如序列数据（时间序列、生物序列等），空间数据（地图），工程设计数据（建筑结构设计），超文本和多媒体数据、网状数据等。

### 2 数据挖掘的步骤 ###

（1）数据清理：消除噪音数据  
（2）数据集成：多种数据组合一起  
（3）数据选择：选择相关数据  
（4）数据变换：汇总等操作将数据变换成适合挖掘的数据  
（5）数据挖掘：对数据进行操作  
（6）模式评估：根据某种模式来评估其价值  
（7）知识表示：可视化表现

### 3 数据挖掘模式 ###

（1）类和概念：特征化与区分  
对数据汇总和分类，考察其具有什么样的特征。  
（2）挖掘频繁模式：关联和相关性  
频繁出现的序列：出现次数最多的事件；频繁出现的子序列：事件之间的关联性，如购买A的情况下再购买B的模式  
（3）预测分析的分类和回归  
分类：决策树、神经网络

![决策树分类][20160924193321047]  
决策树分类  
![神经网络分类][20160924193439346]  
神经网络分类

回归：相关性描述和预测，描述解释变量与被解释变量之间的相关性，并构造数学模型来预测被解释变量。  
（4）聚类  
根据“最大化类内相似性，最小化类间相似性”的原则进行聚类和分组。

![聚类][20160924193804610]  
（5）离群点  
异常的值，有的时候需要抛弃异常值，但有时通过异常值可以发现问题，如欺诈行为。

### 4 数据挖掘相关内容 ###

（1）统计学  
统计学中数值描述（如均值、中位数、众数、方差，柱状图、散点图等），回归分析（线性回归、非线性回归、一元回归、多元回归），离散型和连续性数据的概率分布、描述性统计和推断性统计都和数据挖掘相关。  
（2）机器学习  
机器学习是用数据对机器不断训练以来提高机器性能，类似条件反射。比如机器最开始只能识别“中华田园犬”，“犬”类库中只有中华田园犬，通过一次又一次学习，将萨摩耶、吉娃娃、哈士奇、泰迪都纳入“犬”库，机器就知道了这些也是“犬”。随着图片和种类的增加，机器对犬的识别度也逐渐增加。  
（3）数据库和数据仓库  
数据库和数据仓库本身就是用于数据的管理，其包含的海量数据可以用来做OLTP，OLAP。  
（4）信息检索

[20160924190721362]: /images/20220716/9c78d9d581c843429b00383a6c49a6a5.png
[20160924191456928]: /images/20220716/a855350fe9eb4086b334725110c29d81.png
[20160924193321047]: /images/20220716/76c13baee2ea4b768d8adc4155ca29c5.png
[20160924193439346]: /images/20220716/b5f8792f93d14b3792f1808db28ddfd0.png
[20160924193804610]: /images/20220716/1edfea0dffe4469fadc86045715435dd.png