【计算机前沿知识】大数据与数据挖掘

一时失言乱红尘 2022-11-13 04:22 270阅读 0赞

## 大数据概念 ##

大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要**新处理模式**才能具有更强的决策力、洞察发现力和流程优化能力的**海量、高增长率和多样化**的信息资产。

## 简述大数据的特点 ##

大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

大数据的**5V特点**：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）

## 简述你对大数据未来趋势的看法 ##

> 国家政策方面：放眼世界人类活动的数字化记录不断增多，尤其是我过作为一个人口大国，数据价值的潜力巨大。目前中央大力扶持大数据产业，例如在贵州大力建设数据产业。在新闻上多次听到
> 
> “大力扶持大数据和人工智能产业”，2017年，工信部编制印发《大数据产业发展规划（2016-2020年）》。我们要在，历史前进的逻辑中前进，在时代发展的潮流中发展。
> 
> 理论方面：理论是认知的途径。理论研究的深度决定了应用的高度。今天我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。在此理论基础上，新的理论也层出。著名的MapReduce计算框架让大数据工具的出现称为可能，hadoop就是其中的最好例子。
> 
> 技术上：技术是大数据价值体现的手段和前进的基石。随后，众多Hadoop周边产品开始出现，大数据生态体系逐渐形成，其中包括：专门将关系数据库中的数据导入导出到Hadoop平台的Sqoop；针对大规模日志进行分布式收集、聚合和传输的Flume；MapReduce工作流调度引擎Oozie等。使大数据的开发更加快捷方便。
> 
> 实践上：实践是大数据最终价值的体现。大数据目前已经在政府、企业、公共安全、个人领域有了很广泛的应用。很多公司都开始建立了自己的云平台和大数据平台，来开放或吸引数据，让数据创造更多价值。
> 
> 未来的问题：隐私问题会迫在眉睫，在收集数据时必然会侵犯个人隐私，但如果不收集数据就无法进行分析。我认为可以通过学习区块链技术中的匿名化，在保护隐私的时候，也可以收集数据。在未来，要提出以人为本的大数据方案，如1、阅后即焚；用户自己确认是否被追踪或上传数据

## 大数据结构 ##

1.  理论：是认知的必经途径，也是被广泛认同和传播的基线；
2.  技术：是大数据技术价值体现的手段和前进的基石；
3.  实践：是大数据的最终价值体现

## 大数据趋势 ##

1.  数据资源化：资源化是指称为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点；
2.  与云计算的深度结合：大数据离不开云处理，云处理为大数据提供了弹性可扩展的基础设备，是生产大数据的平台之一；
3.  科学理论的突破：就像计算机和互联网一样，大数据很有可能是新一轮的技术革命
4.  数据科学与数据联盟的成立：未来，数据科学将成为一门专门的学科，被越来越多认知；

隐患：数据泄露泛滥

## 数据挖掘概念 ##

数据挖掘是指**从大量数据中通过算法搜索隐藏于其中信息**的过程

数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标

## 数据挖掘步骤 ##

1.  定义问题
2.  建立数据挖掘库
3.  分析数据
4.  准备数据
5.  建立模型
6.  评价模型和分析

## 数据挖掘任务 ##

预测建模、关联分析、聚类分析、异常检测

## 数据挖掘特点 ##

基于大量数据、非平凡性、隐含性、新奇性、价值性

## 数据挖掘经典算法 ##

神经网络、决策树、遗传算法、粗糙算法、模糊集法、关联规则法

## 数据挖掘过程 ##

数据准备（数据集成、数据选择、预处理）、数据挖掘、结构表达与解释

推荐文章：  
[计算机研究生复试-前沿知识][-]  
[什么是机器学习？有哪些算法和分类？又有哪些应用？看完你就懂了][Link 1]  
部分参考：https://blog.csdn.net/qq\_30719815/article/details/105531906?utm\_medium=distribute.pc\_relevant.none-task-blog-baidujs\_title-0&spm=1001.2101.3001.4242

[-]: https://blog.csdn.net/qq_44178154/article/details/106145353?utm_medium=distribute.pc_relevant_t0.none-task-blog-2~default~OPENSEARCH~default-1.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2~default~OPENSEARCH~default-1.control
[Link 1]: https://blog.csdn.net/zw0Pi8G5C1x/article/details/89166857