大数据初识

拼搏现实的明天。 2023-06-30 08:54 53阅读 0赞

1.大数据的类型结构？  
四种。

①结构化数据。包括预定义的数据类型、格式和结构的数据。例关系型数据库中的数据。

②半结构化数据。具有可识别的模式并可解析的文本数据文件。例自描述和具有定义模式的XML数据文件。

③准结构化数据。具有不规则数据格式的文本数据，使用工具可进行格式化。例包含不一致的数据值和格式化的网站点击数据。

④非结构化数据。没有固定结构的数据，通常保存为不同类型的文件。例文本文档、图片、音频和视频。

2.大数据的特征？

4V。Volume（数据量大）各类机构存储数据的数量正在急速增长。

Variety（类型繁多）包含传统的关系型数据、半结构化数据、非结构化数据。

Value（价值密度低）价值密度的高低与数据总量的大小成反比。

Velocity（速度快）速度快、时效高是大数据处理技术区分于传统海量数据处理技术的最显著特征。

3.大数据的处理技术？

实时大数据处理：金融、移动、互联网B2C产品等。要求在数秒内返回上亿级数据的分析，达到不影响用户体验的目的。满足这样的需求，①采用传统关系型数据库组成并行处理集群②采用内存计算平台、HDD架构。

离线大数据处理：离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等，应采用离线分析的方式，通过数据采集工具将日志数据导入专用的分析平台。

5个技术。

①大数据采集技术②大数据预处理技术③大数据存储与管理技术④大数据分析与挖掘技术⑤大数据展现与应用技术

4.“大数据”处理的过程？

一般过程为：大数据采集、大数据预处理、大数据存储与管理、大数据分析与挖掘、大数据展现与应用。

“大数据”处理的关键技术就是在处理大数据的各个阶段使用到的相关技术。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21xaW5nbw_size_16_color_FFFFFF_t_70][]

5.大数据处理系统的功能？特征？

功能：①海量数据存储②高速处理③并行服务快速开发④可在廉价机器搭建的集群上运行

特征：①实用性②可用性③安全性④可拓展性⑤完整性

6.大数据应用有哪些？

①精准广告投放②精密医疗卫生体系③个性化教育④交通行为预测⑤数据安全

参考书籍：《云计算理论与实践》 潘虎著 中国工信出版集团

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21xaW5nbw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200116111605692.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21xaW5nbw==,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，53人围观）

还没有评论，来说两句吧...

相关阅读

相关一文初识大数据Flink框架

?Apache Flink是一个开源的分布式流处理框架，用于处理流数据和批量数据。它可以在一个单独的机器或一个集群上运行，并具有高效的数据处理能力，特别是对于大规模数据集...

逃离我推掉我的手/ 2024年04月22日 06:58/ 0 赞/ 111 阅读

相关初识数据结构

1.什么叫做数据结构 1.1定义 > 数据结构:是相互之间存在一种或者多种特定关系的数据元素的集合。 1.2分类 ![在这里插入图片描述][bf76c27a

缺乏、安全感/ 2023年10月05日 23:36/ 0 赞/ 61 阅读

相关大数据初识

1.大数据的类型结构？四种。 ①结构化数据。包括预定义的数据类型、格式和结构的数据。例关系型数据库中的数据。 ②半结构化数据。具有可识别的模式并可解析的文本数据文件。

拼搏现实的明天。/ 2023年06月30日 08:54/ 0 赞/ 54 阅读

相关大数据系列教程001-初识大数据

> 声明：大数据系列教程文章由Java潘老师辛苦原创，免费公开供java爱好者学习。如需转载请获得潘老师授权并保留原文链接，如有疑问或建议，可以联系潘老师： > > Q：15

﹏ヽ暗。殇╰゛Y/ 2023年03月13日 03:57/ 0 赞/ 56 阅读

相关三大产业初识

三大产业也称三次产业，其划分，世界各国不完全一致，但基本均划分为三大类：第一产业、第二产业和第三产业。第一产业主要指生产食材以及其它一些生物材料的产业，包括种植业、林业、畜

小鱼儿/ 2022年12月29日 02:24/ 0 赞/ 33 阅读

相关初识大数据与Python语言——学习笔记

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAXzIzXw_size_2

川长思鸟来/ 2022年09月14日 03:07/ 0 赞/ 178 阅读

相关大数据HBase系列之初识HBase

1. HBase简介 1.1 为什么使用HBase 传统的RDBMS关系型数据库（MySQL/Oracle）存储一定量数据时进行数据检索没有问题，可当数据量上升

Love The Way You Lie/ 2022年05月14日 07:05/ 0 赞/ 275 阅读

相关大数据起步之wormhole初识

第一个接触wormhole是公司的一个开发项目，由于之前供职于宜信，接触到这个开源项目，目前宜信已经推出Davinci、Moonbox、Wormhole、UAV.Monitor

你的名字/ 2022年02月16日 02:10/ 0 赞/ 309 阅读

相关大数据组件之初识Hive

现在在互联网行业，稍微和大数据研发或者数据分析工作沾边的，都会有听到Hive这个工具。那么Hive是什么呢，是什么情况出现了Hive这个工具，它用来处理什么样的问题，哪些是它不

不念不忘少年蓝@/ 2022年01月13日 10:17/ 0 赞/ 235 阅读

相关初识大数据与云计算

One.大数据是什么？ 1.大数据其实就是就是解决了海量数据的存储以及海量数据有效存储的问题. 2.大数据的概念其实早在以前就有人提出过理论，只不过当时

港控/mmm°/ 2021年11月01日 08:40/ 0 赞/ 405 阅读