spark/MLlib分类与回归、聚类

不念不忘少年蓝@ 2022-07-31 15:27 260阅读 0赞

二分分类： SVM、逻辑回归、决策树、贝叶斯

多类分类：决策树、贝叶斯

回归：线性最小二乘法

聚类:kmeans、层次法(CURE、CHAMELEON)、网格算法(STING、WaveCluster)

与分类不同，分类是示例式学习，要求分类前指出各个类别，并断言每个元素映射到一个类别，儿聚类是观察式学习，在聚类前可以不知道类别甚至不给定类别数量，是无监督学习的一种。

## 二分分类 ##

### 线性SVM ###

MLlib支持两个线性方法：线性支持向量机SVM和逻辑回归。在MLlib中，训练标签用1表示积极，用0表示消极。

线性SVM是大规模分类任务的标准方法。

L ( w ; x , y ) = max \{  0 , 1 − y w T x \}

线性SVM算法输出一个SVM模型，对于一个新数据x,模型通过wTx进行预测。

### 逻辑回归 ###

L ( w ; x , y ) = log ( 1 \+ exp ( − y w T x ) )

加载测试数据

val  data=MLUtils.loadLibSVMFile(sc,"svm\_data.txt")

将测试数据划分为training和test (train,test)

val  splits = data.randomSplit(Array(0.6,0.4) , seed=11L)

val  training=splits(0).cache()

val  test=splits(1)

训练模型

val  numIterations =100

val  model=SVMWithSGD.train(training,numIterations)

清除默认阈值

model.clearThreshold()

计算新模型在测试数据集的效果

val scoreAndLabels = test.map\{ point =>

val score= model.predict(point.features)

(score,point.label)

\}

得到评估指标

val   metrics=new BinaryClassificationMetrics(scoreAndLabels)

val   auROC=metrics.areaUnderROC()

SVMWithSGD.train()训练方法使用默认参数。如需配置算法，

val  svmAlg=new SVMWithSGD()

svmAlg.optimizer.setNumIterations(200) .setRegParam(0.1).setUpdater(new L1Updater)

val  modelL1 =svmAlg.run(training)

其他MLlib算法也支持这种方式自定义。

Kmeans

从文件加载数据

val   data=sc.textFile("hdfs://")

使用spark util包中的generateKMeansRDD生成数据集,生成多个中心的混合高斯分布

val  data=KMeansDataGenerator.generateKMeansRDD(sc,pointnumber,numClusters,k,r)

转换为RDD

val  parseData=data.map( s=> Vectors.dense(s.split(' ').map(\_.toDouble)))

生成模型

val  model=KMeans.train(parseData , numClusters,numIterations,runs)

数据中心点

model.clusterCenters

预测新数据点

model.predict(Vectors.dense("1.0 2.0 3.0".split(' ').map(\_.toDouble)))

数据方差和

model.computeCost(parseData)

kmeans算法的结果好坏依赖于对初始聚类中心的选择，容易陷入局部最优解，对异常数据较为敏感，只能处理数值属性的数据，聚类结构可能不平衡。

发表评论取消回复

表情：

评论列表（有 0 条评论，260人围观）

还没有评论，来说两句吧...

相关阅读

相关回归与聚类算法系列①：概念简述

目录介绍回归算法聚类算法系类包含内容 -------------------- 介绍本章内容：说明线性回归的原理应用Linea

浅浅的花香味﹌/ 2024年03月08日 08:21/ 0 赞/ 89 阅读

相关聚类算法、分类算法

![20191009191333910.png][][日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Paddle

心已赠人/ 2023年07月09日 10:29/ 0 赞/ 5 阅读

相关分类算法-逻辑回归与二分类

分类算法-逻辑回归与二分类逻辑回归的应用场景逻辑回归的原理输入激活函数损失以及优化损失

以你之姓@/ 2022年12月29日 14:00/ 0 赞/ 287 阅读

相关文本分类/聚类

预处理删除标点符号 [python进行删除标点符号][python] text=u'''职位描述乐视招聘android自动化测试工

我会带着你远行/ 2022年09月21日 05:50/ 0 赞/ 371 阅读

相关数据挖掘常用的方法（分类，回归、聚类、关联规则）

原文出自：http://www.vsharing.com/k//2013-10/690272.html 在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、

素颜马尾好姑娘i/ 2022年08月25日 15:53/ 0 赞/ 213 阅读

相关 spark/MLlib分类与回归、聚类

二分分类： SVM、逻辑回归、决策树、贝叶斯多类分类：决策树、贝叶斯回归：线性最小二乘法聚类:kmeans、层次法(CURE、CHAMELEON)、网格算法(STI

不念不忘少年蓝@/ 2022年07月31日 15:27/ 0 赞/ 261 阅读

相关 SVM——分类与回归实例

[在线课堂][Link 1]——支持向量机实例学习笔记。支持向量机简介支持向量机是一种监督学习数学模型，由n个变量组成的数据项都可以抽象成n维空间内的一个点，点的各

忘是亡心i/ 2022年06月07日 02:26/ 0 赞/ 404 阅读

相关分类，聚类及其回归的区别

from：https://blog.csdn.net/u011630575/article/details/78637517 以前偶然找到过下图，该图对分类，聚类及其回归表达

墨蓝/ 2022年05月25日 02:30/ 0 赞/ 377 阅读

相关 PySpark之机器学习库ML(分类、聚类、回归)

import findspark findspark.init() from pyspark.sql.session import Spark

淩亂°似流年/ 2022年04月24日 05:56/ 0 赞/ 489 阅读

相关逻辑回归与二分类

1 逻辑回归的应用场景广告点击率是否会被点击是否为垃圾邮件是否患病是否为金融诈骗是否为虚假账号

￡神魔★判官ぃ/ 2022年04月23日 03:16/ 0 赞/ 350 阅读