payspark als

待我称王封你为后i 2023-08-17 15:15 104阅读 0赞

from pyspark.sql import SparkSession

import math

from os.path import abspath

def cosSim(v1, v2):

member = reduce(lambda x, y: x+y, map(lambda d: d\[0\]\*d\[1\], zip(v1,v2)))

t1 = math.sqrt(reduce(lambda m, n: m+n, map(lambda x: math.pow(x, 2), v1)))

t2 = math.sqrt(reduce(lambda m, n: m+n, map(lambda x: math.pow(x, 2), v2)))

return 1.0\*member/(t1\*t2)

warehouse\_location = abspath('spark-warehouse')

spark = SparkSession.builder.appName("pyspark als").config("spark.sql.warehouse.dir", warehouse\_location).enableHiveSupport().getOrCreate()

data = spark.sql("select userid,itemid,count(\*) as score from table group by userid,itemid")

from pyspark.mllib.recommendation import Rating

ratings = data.rdd.map(lambda x:Rating(int(x\[0\]), int(x\[1\]), float(x\[2\])))

from pyspark.mllib.recommendation import ALS

model = ALS.trainImplicit(ratings, rank=10)

jf = model.productFeatures()

jf = spark.createDataFrame(jf)

jf = jf.withColumnRenamed("\_1", "id").withColumnRenamed("\_2", "features")

vvv = spark.sql("select itemid,code,city\_code from table")

vjf = jf.join(vvv, jf.id == vvv.itemid)

cvjf = vjf.select("itemid", "code", "city\_code", "features")

jcvjf = cvjf.withColumnRenamed("itemid", "xjobid").withColumnRenamed("code", "xcode").withColumnRenamed("city\_code", "xcity\_code").withColumnRenamed("features", "xfeatures")

jjj = cvjf.join(jcvjf, (cvjf.code == jcvjf.xcode) & (cvjf.city\_code == jcvjf.xcity\_code))

jj = jjj.filter("itemid!=xitemid").select("itemid", "xitemid", "features", "xfeatures")

sjj = jj.rdd.map(lambda x: (x\[0\], x\[1\], cosSim(x\[2\], x\[3\])))

gsj = sjj.groupBy(lambda x: x\[0\])

sj3 = gsj.map(lambda x: str(x\[0\])+','+','.join(map(lambda m: str(m\[1\]), sorted(list(x\[1\]), key=lambda n: n\[2\], reverse=True)\[:10\])))

\#print sj3.collect()

sj3.saveAsTextFile("/hdfs/py\_als\_test")

spark.stop()

转载于:https://www.cnblogs.com/kayy/p/11272329.html

发表评论取消回复

表情：

评论列表（有 0 条评论，104人围观）

还没有评论，来说两句吧...

相关阅读

相关寄存器AL是一个8位寄存器，在执行完指令： MOV AL,06H EOR AL,03H 后，寄存器AL的内容是什么？...

寄存器AL是一个8位寄存器，在执行完指令：MOV AL,06H EOR AL,03H后，寄存器AL的内容是05H。 MOV指令是用来将一个数值赋值给寄存器或内存地址的指令，执

不念不忘少年蓝@/ 2023年09月25日 16:42/ 0 赞/ 54 阅读

相关 payspark als

from pyspark.sql import SparkSession import math from os.path import abspath de

待我称王封你为后i/ 2023年08月17日 15:15/ 0 赞/ 105 阅读

相关 ALS召回算法

import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.funct

客官°小女子只卖身不卖艺/ 2023年06月18日 09:53/ 0 赞/ 33 阅读

相关 7 Steps For ALE Configuration

ALE configuration normally involves the seven basic steps which are : 1. Creating use

朴灿烈づ我的快乐病毒、/ 2023年01月23日 06:51/ 0 赞/ 18 阅读

相关 als算法参数_矩阵分解之交替最小二乘ALS

ALS(alternating least squares) ALS是交替最小二乘的简称。在机器学习中，ALS特指使用交替最小二乘求解的一个协同推荐算法。如：将用户(user

- 日理万妓/ 2023年01月09日 12:51/ 0 赞/ 167 阅读

相关 als算法参数_ALS算法实现用户音乐打分预测

很多人在决定是否看一部电影之前都会去豆瓣看下评分作为参考，看完电影也会给一个自己的分数。每个人对每个商品或者电影或是音乐都有一个心理的分数，这个分数标明用户是否对这个内容满意。

怼烎@/ 2022年12月31日 15:26/ 0 赞/ 190 阅读

相关 uva 10515——Powers Et Al.

题意：这个题目题中的图片已经给的够清楚了，就算不怎么读题，也能yy大概的意思，况且题目也很短，很容易都出来就是给定 a，b，然后求a^b的个位数！思路：开始想到了同

绝地灬酷狼/ 2022年08月09日 13:48/ 0 赞/ 70 阅读

相关 ALE&IDoc一般流程

ALE/IDoc的实践性很强的技术，也就是说你做得越多，碰到的问题越多，提高也就越多，光是理论是没什么用得。所以先把一般配置一套ALE/IDoc的流程总结一下，

矫情吗；*/ 2022年07月05日 15:07/ 0 赞/ 206 阅读

相关 ALS推荐算法

在完成基于大数据平台的图书馆推荐系统后，最近把学习的中心放在机器学习上面。在接下来的几个月中，希望自己能弄明白常见机器学习算法的原理，并且能在spark平台上进行实践。在我

深藏阁楼爱情的钟/ 2022年05月27日 01:25/ 0 赞/ 338 阅读

相关 YouCompleteMe + Ale异步检测语法

本文内容： Python3 安装支持python3的vim编译 YouCompleteMe 、Ale安装配置YouCompleteMe、Ale

淩亂°似流年/ 2021年11月05日 03:31/ 0 赞/ 385 阅读