spark获取dataframe中列的最大值索引

深碍√TFBOYSˉ_ 2021-09-29 22:50 579阅读 0赞

package com.xxx
    
    import org.apache.log4j.{Level, Logger}
    import org.apache.spark.sql.SparkSession
    import org.apache.spark.sql.SQLContext
    
    
    object spark_vector_argmax{
      def main(arg: Array[String]): Unit = {
        Logger.getLogger("org").setLevel(Level.ERROR)
        // create some sample data:
        import org.apache.spark.mllib.linalg.{Vectors,Vector}
        case class myrow(topics:Vector)
        val spark = SparkSession
          .builder()
          .master("local")
          .appName("TopicExtraction")
          .getOrCreate()
        import spark.implicits._                  //必须有，否则$符号不显示
        val sc = spark.sparkContext
        val rdd = sc.parallelize(Array((Vectors.dense(1,0.2),Vectors.dense(0.6,0.2))))
        val mydf = spark.createDataFrame(rdd).toDF("id","topics")
        mydf.show()
    
        // build the udf
        import org.apache.spark.sql.functions.udf
        val func = udf( (x:Vector) => x.toDense.values.toSeq.indices.maxBy(x.toDense.values) )
    
        mydf.withColumn("max_idx",func($"topics")).show()
      }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，579人围观）

还没有评论，来说两句吧...

相关阅读

相关使用pandas删除dataframe中缺失值的列

使用pandas删除dataframe中缺失值的列在pandas中，我们可以使用dropna函数来删除dataframe中的缺失值。如果我们想要删除所有数据均为缺失值的列，

╰半橙微兮°/ 2024年03月22日 08:36/ 0 赞/ 15 阅读

相关 js获取数组最大值的索引_JS 数组获取最大值

一、一维数组 var a=\[1,2,3,5\]; alert(Math.max.apply(null, a));//最大值 alert(Math.min.apply(n

拼搏现实的明天。/ 2023年01月08日 08:10/ 0 赞/ 227 阅读

相关 dataframe在最左边添加一列索引

df.insert(0, 'index', range(len(df)), allow_duplicates=False) 0表示放在第0列，range(len(df

野性酷女/ 2023年01月08日 04:22/ 0 赞/ 111 阅读

相关 JavaScript中获取数组最大值

Math.max() Math.max() 函数返回一组数中的最大值语法 > Math.max(value1, value2, …) 例子 Math.m

迈不过友情╰/ 2022年10月11日 00:45/ 0 赞/ 170 阅读

相关获取数组中最大值

var salePriceData=\[100,200,435,876,999\]; var maxdata=salePriceData\[0\]; for(var n=1

谁借莪１个温暖的怀抱￠/ 2022年06月08日 03:16/ 0 赞/ 197 阅读

相关 js获取数组中的最大值最小值

1、遍历方法： var tmp=\[1,12,8,5\]; var max=tmp\[0\]; for(var i=1;i<tmp.length;i++)\{ if(m

川长思鸟来/ 2022年05月31日 02:27/ 0 赞/ 275 阅读

相关 oracle函数COALESCE / GREATEST / LEAST/NVL(空值转换/获取列的最大值/获取列的最小值/空值转换)

文章转载自[内置函数之 GREATEST 和 LEAST][GREATEST _ LEAST] > Oracle比较一列的最大值或者最小值，我们会不假思索地用MAX和MIN函

「爱情、让人受尽委屈。」/ 2022年04月25日 01:28/ 0 赞/ 245 阅读

相关 ios获取数组中的最大值

在编码过程中，我们通常碰到一组数据，需要自己简单的处理下，拿到数组中的总和，大小和平均值数据。 1.简单粗暴的方法，快速求和。 NSArray array = @

怼烎@/ 2021年11月02日 04:02/ 0 赞/ 357 阅读

相关 ios获取数组中的最大值

在编码过程中，我们通常碰到一组数据，需要自己简单的处理下，拿到数组中的总和，大小和平均值数据。 1.简单粗暴的方法，快速求和。 NSArray array = @

你的名字/ 2021年10月29日 17:18/ 0 赞/ 330 阅读

相关 spark获取dataframe中列的最大值索引

package com.xxx import org.apache.log4j.{Level, Logger} import org.apac

深碍√TFBOYSˉ_/ 2021年09月29日 22:50/ 0 赞/ 580 阅读