Spark，大规模jaccard距离join，笛卡尔积的复杂度，的速度优化逼近算法

╰+哭是因爲堅強的太久メ 2022-09-10 13:21 87阅读 0赞

有jaccard距离udf函数：

def jaccardDistance = udf {  (string1: String, string2: String) =>
          var result = false
          val set1: Set[Char] = string1.toSet
          val set2: Set[Char] = string2.toSet
          val intersectSize = set1.intersect(set2).size.toFloat
          val unionSize = set1.union(set2).size.toFloat
          val value = intersectSize / unionSize
          if (value > 0.6) { 
            result = true
          }
          result
        }

要计算

var resultDF = joinDF1.join(joinDF2,
          jaccardDistance(joinDF1.col("input_column1"), joinDF2.col("input_column2"))
        )

完全跑不完，  
近似解决方案：预处理join的key

def removeFromArray(a: Array[Char], i: Int): Array[Char] = { 
    	      val b = a.toBuffer
    	      b.remove(i)
    	      b.toArray
    	    }
    
            // 变成set再sort再按 从小到大的长度 取，就能覆盖所有情况
            val tmpString = (input_column).toSet.toArray.sorted.mkString("") 
            val originLength = tmpString.length
            for (i <- 3 to originLength) {  // 这里取最小长度3
              val joinKey = tmpString.substring(0, i)
              result.append((input_column, joinKey))
            }
            result.iterator

然后直接join

var resultDF = joinDF1.join(joinDF2,
          Seq("joinKey")
        )

发表评论取消回复

表情：

评论列表（有 0 条评论，87人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java实现笛卡尔积算法-递归

import java.util.ArrayList; import java.util.List; public class Test{

电玩女神/ 2022年12月06日 01:12/ 0 赞/ 466 阅读

相关 java 笛卡尔积（循环）

@SuppressWarnings({ "rawtypes", "unchecked" }) public static List Dikaerji(List

逃离我推掉我的手/ 2022年09月26日 03:52/ 0 赞/ 283 阅读

相关 Spark，大规模jaccard距离join，笛卡尔积的复杂度，的速度优化逼近算法

有jaccard距离udf函数： def jaccardDistance = udf { (string1: String, string2: String) =>

╰+哭是因爲堅強的太久メ/ 2022年09月10日 13:21/ 0 赞/ 88 阅读

相关 Spark，大规模jaccard距离join，笛卡尔积的复杂度，的近似速度优化算法

有jaccard距离udf函数： def jaccardDistance = udf { (string1: String, string2: String) =>

港控/mmm°/ 2022年09月10日 10:26/ 0 赞/ 43 阅读

相关 Python求笛卡尔积

> 使用列表推导计算笛卡尔积 >>> colors = ['black','white'] >>> sizes = ['S','M','L'] >>>

青旅半醒/ 2022年06月03日 22:50/ 0 赞/ 297 阅读

相关多个数组笛卡尔积-js算法

示例1：求两个数组笛卡尔积假如有两个数组，求笛卡尔积，其基本思路是这样的：在遍历一个数组的同时，遍历另一个数组，然后把元素拼接，放到新数组。

àì夳堔傛蜴生んèń/ 2022年03月24日 20:44/ 0 赞/ 292 阅读

相关 php 笛卡尔积的实现

<?php $arr = array(array(1,3,4,5),array(3,5,7,9),array(76,6,1,0)); / 实现

拼搏现实的明天。/ 2022年03月11日 09:20/ 0 赞/ 323 阅读

相关 mysql中left join的误解及笛卡尔积解释

首先，说下自己一直以来的误区： left join（左外连接）查询，已左表A为基础表，关联右表B查询，最多只会返回A表里面满足条件的记录。这种想法是错误的，返回的记录

妖狐艹你老母/ 2022年01月28日 23:43/ 0 赞/ 219 阅读

相关优化：java递归实现笛卡尔积算法

笛卡尓积又称直积，表示为X×Y。举例：集合A=\{a, b\}，集合B=\{0, 1, 2\}，则两个集合的笛卡尔积为\{(a, 0), (a, 1), (a, 2), (

太过爱你忘了你带给我的痛/ 2021年09月07日 06:08/ 0 赞/ 633 阅读

相关笛卡尔积定义运算

笛卡尔乘积是指在数学中，两个集合X和Y的笛卡尔积（Cartesianproduct），又称直积，表示为X×Y，第一个对象是X的成员而第二个对象是Y的所有可能有序对的其中一...

朱雀/ 2021年01月26日 08:20/ 0 赞/ 1457 阅读