大数据分析处理必备工具

小鱼儿 2022-04-10 02:21 308阅读 0赞

大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和展现的有力武器。

![20181224090047690][]

一、大数据接入   
  1、大数据接入   
      已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入   
  2、大数据接入技术   
      Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp   
二、大数据存储   
  1、大数据存储   
      结构化数据存储、半结构化数据存储、非结构化数据存储   
  2、大数据存储技术   
      Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch   
三、数据分析挖掘   
  1、大数据分析与挖掘   
      离线分析、准实时分析、实时分析、图片识别、语音识别、机器学习   
  2、大数据分析与挖掘技术   
      MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib   
      数据的分析离不开各种数据库客户端工具，例如P/L SQL, 查询分析器，Navicat, shell等，客户端工具繁多，安装繁琐，  
      使用基于Web的TreeSoft数据库管理系统，可以同时连接MySQL，Oracle，DB2，PostgreSQL，SQL Server，mongoDB，Hive，SAP HANA，Caché ,Sybase，神通，十分方便。  
      使用基于Web的工具有个好处是：一次布署，到处使用，省时省力。

四、大数据共享交换   
   1、大数据共享交换   
      数据接入、数据清洗、转换、脱敏、脱密、数据资产管理、数据导出  
      数据接入后，通常是存入数据库中，以便于进行分析、清洗、转换、脱敏等处理，而这些操作都离不开数据可视化客户端工具。  
      海量大数据需分批次，分任务，分时段进行处理，TreeSoft数据库管理系统提供了数据定时任务管理，数据交换同步任务管理，  
      任务统一管理，执行进度展示，处理日志查看等，十分强大，是大数据处理的好工具。

2、大数据共享交换技术   
      Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service

![20181224090047712][]  
五、大数据展现   
   1、大数据展现   
      图化展示（散点图、折线图、柱状图、地图、饼图、雷达图、K线图、箱线图、热力图、关系图、矩形树图、平行坐标、桑基图、漏斗图、仪表盘），文字展示；   
   2、大数据展现技术   
      Echarts、Tableau，TreeSoft数据库管理系统将SQL查询结果直接以图表展示，快速展现分析结果。

![20181224090047731][]

[20181224090047690]: /images/20220403/5848379faa5a432abca9d065bfa52c33.png
[20181224090047712]: /images/20220403/03fd229c6b644858b1f8e969329bd0f6.png
[20181224090047731]: /images/20220403/6b035967b38b45e6a89453d788e870e2.png