Spark Naive Bayes

桃扇骨 2022-01-16 04:15 61阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

贝叶斯分类法是统计学分类方法，假定一个属性值在给定类上的影响独立于其他属性的值，这一假定称为类条件独立性，此假定称为朴素的。

val rawdataPath = "your raw data path"
    
        // line -> user,featureCategoricalOne,fTwo,featureCategoricalThree,label
    
        val rawData = sc.textFile(rawdataPath)
          .map(line =>{
          val values = line.split("\t")
          val featureVector = Vectors.dense(values.slice(1,values.length-1).map(_ .toDouble))
          val label = values(values.length-1).toDouble
          LabeledPoint(label, featureVector)
        })
    
        val Array(trainData, testData) = rawData.randomSplit(Array(0.8, 0.2))
    
        val model = NaiveBayes.train(trainData, lambda = 1.0)

第一部也是读取数据，方式跟上篇博文类似。然后调用NaiveBayes方法。

最后也是metrics度量训练结果。

val metrics = getMetrics(model, testData)
          def getMetrics(model: NaiveBayesModel, data: RDD[LabeledPoint]): MulticlassMetrics = {
        val predictionsAndLabels = data.map(example => (model.predict(example.features), example.label)
        )
        new MulticlassMetrics(predictionsAndLabels)
      }

项目地址：下载[地址][Link 1]

转载于:https://my.oschina.net/yulinguo/blog/392224

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220114/62fb43a35e41425ab38b132be1ab2f24.png
[Link 1]: https://github.com/YulinGUO/machineLearingWithSpark

发表评论取消回复

表情：

评论列表（有 0 条评论，61人围观）

还没有评论，来说两句吧...

相关阅读

相关朴素贝叶斯（naive bayes）分类

1. 概念回顾 1.1 条件概率公式条件概率是指在事件B发生的条件下，事件A发生的概率。条件概率表示为 P ( A ∣ B ) P(A|B) P(A∣B)，读作“

一时失言乱红尘/ 2023年07月08日 02:52/ 0 赞/ 192 阅读

相关手写朴素贝叶斯（naive_bayes）分类算法

朴素贝叶斯假设各属性间相互独立，直接从已有样本中计算各种概率，以贝叶斯方程推导出预测样本的分类。为了处理预测时样本的（类别，属性值）对未在训练样本出现，从而导致概率为0的情

ゝ一纸荒年。/ 2023年06月02日 09:12/ 0 赞/ 53 阅读

相关 Spark MLlib实现的中文文本分类–Naive Bayes

关键字：spark mllib、文本分类、朴素贝叶斯、naive bayes 1、概述文本分类是指将一篇文章归到事先定义好的某一类或者某几类，在数据平台的一个典型的应

心已赠人/ 2022年10月08日 05:50/ 0 赞/ 52 阅读

相关 Machine Learning 4 - Naive Bayes朴素贝叶斯算法

2017-11-23@erixhao[技术极客TechBooster][TechBooster] ![1240][] AI 系列四，距上篇博文已经近一个半月之久了，

梦里梦外;/ 2022年06月05日 11:17/ 0 赞/ 224 阅读

相关【机器学习】朴素贝叶斯 Naive Bayes Classifiers 算法整理

贝叶斯（Bayes）分类算法是一类利用概率统计知识进行分类的算法，如朴素贝叶斯（Naive Bayes）算法。这些算法主要利用Bayes定理来预测一个未知类别的样本属于各个类别

╰半夏微凉°/ 2022年06月01日 00:48/ 0 赞/ 218 阅读

相关深入理解朴素贝叶斯（Naive Bayes）

朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单，也很容易实现，多用于文本分类，比如垃圾邮件过滤。该算法虽然简单，但是由于笔者不常用，

ゞ浴缸里的玫瑰/ 2022年05月15日 22:26/ 0 赞/ 247 阅读

相关朴素贝叶斯分类（Naive Bayes,NB）

1.[https://blog.csdn.net/guoyunfei20/article/details/78911721][https_blog.csdn.net_guoyu

朱雀/ 2022年04月17日 04:36/ 0 赞/ 252 阅读

相关机器学习算法实践：朴素贝叶斯 (Naive Bayes)（转载）

　　前言　　　　上一篇《[机器学习算法实践：决策树 (Decision Tree)][_Decision Tree]》总结了决策树的实现，本文中我将一步步实现一个朴素贝

Love The Way You Lie/ 2022年03月28日 14:12/ 0 赞/ 228 阅读

相关 Spark Naive Bayes

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 贝叶斯分类法是统计学分类方法，假定一个属性值在给定类上的

桃扇骨/ 2022年01月16日 04:15/ 0 赞/ 62 阅读

相关朴素贝叶斯算法（Naive Bayes）

1. 前言说到朴素贝叶斯算法，首先牵扯到的一个概念是判别式和生成式。判别式：就是直接学习出特征输出\\(Y\\)和特征\\(X\\)之间的关系，如决策函数\\

拼搏现实的明天。/ 2021年09月29日 08:36/ 0 赞/ 315 阅读