Spark之导出PMML文件（Python）

╰+哭是因爲堅強的太久メ 2022-06-04 04:13 289阅读 0赞

PMML，全称预言模型标记语言（Predictive Model Markup Language），利用XML描述和存储数据挖掘模型，是一个已经被W3C所接受的标准。PMML是一种基于XML的语言，用来定义预言模型。详细的介绍可以参考：http://dmg.org/pmml/v4-3/GeneralStructure.html。  
本文将介绍如何在Spark中导出PMML文件（Python语言）。  
首先我们需要安装jpmml-sparkml-package。具体的安装细节可以参考：https://github.com/jpmml/jpmml-sparkml-package。  
1.利用Git下载JPMML-SparkML-Package project

git init
    git clone https://github.com/jpmml/jpmml-sparkml-package.git 
    cd jpmml-sparkml-package

如下图所示：  
![这里写图片描述][format_png]  
2.生成uber-JAR文件  
将Spark的Python路径添加到环境变量

sudo gedit /etc/profile
    export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python
    source /etc/profile

再生成uber-JAR文件

mvn -Ppyspark -Dpython.exe=/usr/bin/python3.5 clean package

注意这里的python路径要是你自己的系统里的Python路径。耐心等待运行，运行结果如下：  
![这里写图片描述][format_png 1]  
这时jpmml-sparkml-package文件夹下会多出target文件夹，如下：  
![这里写图片描述][format_png 2]  
3.将上述的jpmml\_sparkml-1.3rc0-py3.5.egg文件添加到Eclipse的Pydev的libraries中，如下图：  
![这里写图片描述][format_png 3]  
并且将上述的两个jar包复制到spark安装目录下的jars文件夹下。  
![这里写图片描述][format_png 4]  
这样我们就完成了所有的环境配置。接下来我们进行测试：  
首先，我们需要数据……数据文件test\_data.csv截图如下（部分）：  
![这里写图片描述][format_png 5]  
完整的数据集可在http://archive.ics.uci.edu/ml/datasets/Wholesale+customers找到。  
在Eclipse中新建test\_PMML项目，如下图：  
![这里写图片描述][format_png 6]  
其中test\_pmml.py的python代码如下：

from pyspark import SparkContext
    from pyspark.sql import SparkSession
    from pyspark.ml import Pipeline
    from pyspark.ml.classification import LogisticRegression
    from pyspark.ml.feature import RFormula
    from jpmml_sparkml import toPMMLBytes
    
    
    sc = SparkContext.getOrCreate()
    spark = SparkSession.builder.appName("PMML Predict").config("spark.some.config.option", "some-value").getOrCreate()
    print("Read file from /home/vagrant/......")
    df = spark.read.csv("/home/vagrant/test_data.csv", header = True, inferSchema = True)
    print("Reading complete.\n")
    
    print("Processing logistic model......")
    formula = RFormula(formula = "target ~ .")
    logit = LogisticRegression()
    pipeline = Pipeline(stages = [formula, logit])
    pipelineModel = pipeline.fit(df)
    print("Modeling complete.\n")
    
    print("Exporting pmml file......")
    pmmlBytes = toPMMLBytes(sc, df, pipelineModel)
    output_rdd = sc.parallelize([pmmlBytes]) 
    output_rdd.saveAsTextFile("pmml_Logit")
    print("Export complete.\nThe end.")

运行结果如下：  
![这里写图片描述][format_png 7]  
同时会生成pmml\_Logit文件夹，里面包含PMML文件part-00000，内容如下图（部分）：  
![这里写图片描述][format_png 8]  
这样我们就成功地导出了逻辑回归模型的PMML文件！本次分享就到这儿啦~~

--------------------

参考文献： 1.PMML介绍：http://dmg.org/pmml/v4-3/GeneralStructure.html 2.测试数据集：http://archive.ics.uci.edu/ml/machine-learning-databases/00292/ 3.https://stackoverflow.com/questions/39888728/export-models-as-pmml-using-pyspark/39902676\#39902676 4.https://github.com/jpmml/jpmml-sparkml-package

\*\*\*注意：\*\*\*本人现已开通两个微信公众号： 用Python做数学（微信号为：python\_math）以及轻松学会Python爬虫（微信号为：easy\_web\_scrape）， 欢迎大家关注哦~~

[format_png]: /images/20220604/34d17d817a964756a3c0baa450f41ce3.png
[format_png 1]: /images/20220604/27bed480d31f4725852d9bdc42af014b.png
[format_png 2]: /images/20220604/b4a80626f0314161aba3e2920266e86c.png
[format_png 3]: /images/20220604/aadbd6dd8f8d4f07bbb35b0854d942b4.png
[format_png 4]: /images/20220604/99a606bf81004715980571866d90fe10.png
[format_png 5]: /images/20220604/44b92994720d46cc8bdbcd6324059ba1.png
[format_png 6]: /images/20220604/9ab637205bf84c299c664064103ec462.png
[format_png 7]: /images/20220604/5ef4192f501f47d4949138ac5284dfa4.png
[format_png 8]: /images/20220604/dd922f46bd664b33830f139a46454952.png