好程序员大数据技术盘点你都知道吗

向右看齐 2021-11-22 21:24 388阅读 0赞

好程序员大数据技术盘点 你都知道吗，大数据的概念，指的是无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。而大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。

第一，数据采集

ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

第二，数据存取

关系数据库、NOSQL、SQL等。

第三，基础架构

云存储、分布式文件存储等。

第四，数据处理

自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，Natural Language Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。

第五，统计分析

假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。

第六，数据挖掘

分类 (Classification)、估计(Estimation)、预测(Prediction)、相关性分组或关联规则(Affinity grouping or association rules)、聚类(Clustering)、描述和可视化、Description and Visualization)、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)。

第七，模型预测

预测模型、机器学习、建模仿真。

第八，结果呈现

云计算、标签云、关系图等。

其实，关于大数据的技术内容远不止以上内容，欢迎继续关注。

转载于:https://www.cnblogs.com/gcghcxy/p/10955638.html

发表评论取消回复

表情：

评论列表（有 0 条评论，388人围观）

还没有评论，来说两句吧...

相关阅读

相关 @Value这么多隐藏技术，你都知道吗？

前言对于从事java开发工作的小伙伴来说，spring框架肯定再熟悉不过了。spring给开发者提供了非常丰富的api，满足我们日常的工作需求。如果想要创建bean

墨蓝/ 2024年04月07日 14:15/ 0 赞/ 113 阅读

相关 @Autowired的这些操作，你都知道吗？

前言最近review别人代码的时候，看到了一些`@Autowired`不一样的用法，觉得有些意思，特定花时间研究了一下，收获了不少东西，现在分享给大家。也许`@Au

雨点打透心脏的1/2处/ 2024年04月07日 14:15/ 0 赞/ 136 阅读

相关 Java程序员必须知道的学习路线,你知道吗？

你现在是不是想学 [Java][]，但又很迷茫，不知从何下手，不知道该从哪里学起，不知道需要学些什么？那么看完这篇文章你会有一种豁然开朗的感觉。学习 Java 的第

比眉伴天荒/ 2023年10月02日 23:50/ 0 赞/ 5 阅读

相关每天都在用 Map，这些核心技术你知道吗？

本篇文章站在多线程并发安全角度，带你了解多线程并发使用 `HashMap` 将会引发的问题，深入学习 `ConcurrentHashMap` ，带你彻底掌握这些核心技术。全

秒速五厘米/ 2023年03月13日 11:36/ 0 赞/ 9 阅读

相关这些前端冷知识，你都知道吗？

![4b58890d3200a9d129f16eb1b8bc4248.png][] 作者：monkeySoft https://www.cnblogs.com/mon

小咪咪/ 2022年11月15日 05:50/ 0 赞/ 330 阅读

相关 JavaScript 数据类型你知道吗？

目录数据类型的分类基本数据类型=-\]\[= 一、字符串（String）二、数值（Number）三、布尔值（Boolean）每个数据类型中我都运用了查看

蔚落/ 2022年05月10日 02:04/ 0 赞/ 284 阅读

相关【本人秃顶程序员】Java的四种引用类型你都知道吗？

←←←←←←←←←←←← 快！点关注 ![1240][] 一、概述在Java中提供了四个级别的引用：强引用，软引用，弱引用和虚引用。在这四个引用类型中，只有强引用F

逃离我推掉我的手/ 2022年02月23日 09:54/ 0 赞/ 279 阅读

相关好程序员大数据技术盘点你都知道吗

　　好程序员大数据技术盘点你都知道吗，大数据的概念，指的是无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。而大数据技术，是指从各种各样类型的数据中，快速

向右看齐/ 2021年11月22日 21:24/ 0 赞/ 389 阅读

相关程序员的的这些日常古怪的想法你都知道吗？

作为一个程序员，我总是会有各种各样的想法与思考，这便是我创建此分类的初衷与想法，同样欢迎各位同行在评论区留下自己日常的杂感！如果我的这些想法与思考你也同样想过，那

水深无声/ 2021年11月16日 08:32/ 0 赞/ 403 阅读

相关这 4 种 ThreadLocal 你都知道吗？

什么是ThreadLocal `ThreadLocal`类顾名思义可以理解为线程本地变量。也就是说如果定义了一个`ThreadLocal`，每个线程往这个`ThreadLo

怼烎@/ 2021年09月02日 07:38/ 0 赞/ 430 阅读