Apache Spark 3.0 拥抱大数据处理分析引擎

一时失言乱红尘 2022-12-04 05:27 129阅读 0赞

**目录**

资源概述

速度

使用方便

概论

无处不在

--------------------

##  资源概述 ##

github代码库：[https://github.com/apache/spark][https_github.com_apache_spark]

Python，Scala，Java一睹为快示例：[http://spark.apache.org/examples.html][http_spark.apache.org_examples.html]

Spark Java版本示例：[https://github.com/apache/spark/tree/master/examples/src/main/java/org/apache/spark/examples][https_github.com_apache_spark_tree_master_examples_src_main_java_org_apache_spark_examples]

作为Java编程开发者，官网已经尽可能为我们提供便利了，你想要的都在这里：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70][]

俗话说，知子莫如父，Apache spark的特性和版本指导都可以准确找到：[http://spark.apache.org/documentation.html][http_spark.apache.org_documentation.html]

Spark能干什么，请大家务必记住以下这些特性：

## 速度 ##

运行工作负载的速度提高了100倍。

Apache Spark使用最新的DAG调度程序，查询优化器和物理执行引擎，可实现批处理和流数据的高性能。

![format_png][]

Hadoop和Spark中的逻辑回归

## 使用方便 ##

使用Java，Scala，Python，R和SQL快速编写应用程序。

Spark提供了80多个高级操作员，可轻松构建并行应用程序。您可以 从Scala，Python，R和SQL Shell *交互*使用它。

df =火花。阅读。json （“ logs.json” ） df。其中（“年龄> 21” ）   。选择（“ name.first” ）。显示（）

Spark的Python DataFrame API  
通过自动模式推断读取JSON文件

## 概论 ##

结合使用SQL，流和复杂的分析。

星火权力库，包括一叠 [SQL和DataFrames][SQL_DataFrames]，[MLlib][]机器学习， [GraphX][]和[星火流][Link 1]。您可以在同一应用程序中无缝组合这些库。

![format_png 1][]

## 无处不在 ##

Spark可在Hadoop，Apache Mesos，Kubernetes，独立或云中运行。它可以访问各种数据源。

您可以在[EC2][]，[Hadoop YARN][]，[Mesos][]或[Kubernetes][]上使用其[独立集群模式][Link 2]运行Spark 。访问[HDFS][]， [Alluxio][]， [Apache Cassandra][]， [Apache HBase][]， [Apache Hive][]以及数百种其他数据源中的数据。

![format_png 2][]

切记：官网从来都是最好的老师，道听途说不足为信！

[https_github.com_apache_spark]: https://github.com/apache/spark
[http_spark.apache.org_examples.html]: http://spark.apache.org/examples.html
[https_github.com_apache_spark_tree_master_examples_src_main_java_org_apache_spark_examples]: https://github.com/apache/spark/tree/master/examples/src/main/java/org/apache/spark/examples
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70]: /images/20221123/fe69c380f9df4cf8989db755a08891ef.png
[http_spark.apache.org_documentation.html]: http://spark.apache.org/documentation.html
[format_png]: /images/20221123/e316519c80574479b97faea9ef7b5407.png
[SQL_DataFrames]: http://spark.apache.org/sql/
[MLlib]: http://spark.apache.org/mllib/
[GraphX]: http://spark.apache.org/graphx/
[Link 1]: http://spark.apache.org/streaming/
[format_png 1]: /images/20221123/a16c757f76504f1ba684b49a60441034.png
[EC2]: https://github.com/amplab/spark-ec2
[Hadoop YARN]: https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
[Mesos]: https://mesos.apache.org/
[Kubernetes]: https://kubernetes.io/
[Link 2]: http://spark.apache.org/docs/latest/spark-standalone.html
[HDFS]: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html
[Alluxio]: https://www.alluxio.org/
[Apache Cassandra]: https://cassandra.apache.org/
[Apache HBase]: https://hbase.apache.org/
[Apache Hive]: https://hive.apache.org/
[format_png 2]: /images/20221123/e8266c18049744718e6ee8b39674a7c1.png