掌握Spark机器学习库 02 --- Mllib 与 ml

男娘i 2021-11-14 14:34 356阅读 0赞

一，Mllib 与 ml 是spark的两个机器学习库

二者区别：

1，

Mllib  是采用RDD

ml 使用DataFrame

2，

spark官方是希望使用ml 替代掉Mllib

二，Mllib使用场景

1，海量数据的分析跟挖掘 --比如房价预测

2，推荐系统，模型训练

3，sparkStreaming+Mllib

三，矩阵与向量

1，矩阵的基本运算

加减乘除 ，矩阵的转置，叉乘等等

2，Vector 向量

又称矢量，有方向有大小

3，实践向量的创建跟基本操作

查看官网：

[http://spark.apache.org/docs/latest/mllib-data-types.html][http_spark.apache.org_docs_latest_mllib-data-types.html]

>     object Demo1 {
>       def main(args: Array[String]): Unit = {
>         // Create a dense vector (1.0, 0.0, 3.0).
>         val dv: Vector = Vectors.dense(1.0, 0.0, 3.0)
>         // Create a sparse vector (1.0, 0.0, 3.0) by specifying its indices and values corresponding to nonzero entries.
>         val sv1: Vector = Vectors.sparse(3, Array(0, 2), Array(1.0, 3.0))
>         // Create a sparse vector (1.0, 0.0, 3.0) by specifying its nonzero entries.
>         val sv2: Vector = Vectors.sparse(3, Seq((0, 1.0), (2, 3.0)))
>     
>         println(dv)
>         println(sv1)
>         println(sv2)
>       }
>     
>     }

四，基础统计学知识

1，描述性统计：平均，方差，众数等等。。

2，相关性度量 ： 比如皮尔逊和 斯皮尔曼系数

3，假设检验 ： 比如皮尔森卡方检测

案例实践：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70][]

简单案例：

>     package com.mllib
>     
>     import org.apache.spark.{SparkConf, SparkContext}
>     import org.apache.spark.mllib.linalg.Vectors
>     import org.apache.spark.mllib.stat.{MultivariateStatisticalSummary, Statistics}
>     
>     object Demo2 {
>       def main(args: Array[String]): Unit = {
>         val conf = new SparkConf().setAppName("aa").setMaster("local[*]")
>         val sc = new SparkContext(conf)
>     
>         val observations = sc.parallelize(
>           Seq(
>             Vectors.dense(1.0, 10.0, 100.0),
>             Vectors.dense(2.0, 20.0, 200.0),
>             Vectors.dense(3.0, 30.0, 300.0)
>           )
>         )
>     
>         // Compute column summary statistics.
>         val summary: MultivariateStatisticalSummary = Statistics.colStats(observations)
>         println(summary.mean)  // 平均值
>         println(summary.variance)  // column-wise variance
>         println(summary.numNonzeros)  // number of nonzeros in each column
>       }
>     }

[http_spark.apache.org_docs_latest_mllib-data-types.html]: http://spark.apache.org/docs/latest/mllib-data-types.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70]: /images/20211114/9f684c22fbf94217acd9910cf4bccfc2.png