搞 AI 建模预测都在用 Python，其实入门用 SPL 也不错

小灰灰 2023-09-27 08:14 7阅读 0赞

可用来做人工智能建模预测的工具非常多，比如Python, R, SAS，SPSS等，其中Python由于简单易学、丰富的数据科学库、开源免费等特点备受欢迎。但是对于不太熟悉数据建模算法的程序员来说，使用Python建模还是比较复杂，很多时候拿到数据并不清楚该做怎样的处理，选择什么样的算法。其实，在做数据分析和数据建模时，SPL也是不错的选择，它比Python更简单易用，计算速度也快，交互式的界面对数据分析十分友好，同时还提供自动数据建模功能和一些数据处理以及统计学函数，用起来也很方便。

下面就以一份用户贷款违约预测的数据为例，使用SPL手把手的进行数据建模预测。

## 1. 确定目标，准备数据 ##

建模预测就是从历史数据中挖掘出规律，然后使用规律对未来可能发生的事情做出预测。这个规律就是一般所说的模型。

历史数据通常是一张我们俗称的宽表，比如在用户贷款违约预测的例子中历史数据是如下图这样的Excel表格：![a0fdf69df3eee924d4714054d29d0cbe.png][]

首先，宽表中一定要包括我们想预测的事情，通常称作预测目标，上图中的预测目标就是历史用户的违约行为，也就是图中y那一列，yes表示违约，no表示不违约。预测目标还可以是一个数值，比如产品的销量、售价……，或者是预测属于什么种类，比如预测产品质量是优、良、合格还是差。有时目标在原始数据里就有，可以直接使用，有时目标还需要人工标注。

除了预测目标外，这里还需要很多信息，如表中的用户年龄、工作，房产，贷款情况……，这里的每一列称为变量，也就是和贷款人将来是否违约可能会相关的信息，原则上能收集到的变量越多越好。例如预测客户是否会购买产品，可以搜集客户的行为信息，购物偏好，以及产品的特征信息，促销力度等；预测汽车保险理赔风险，需要保单数据，车辆信息、车主交通习惯以及历史理赔情况等等，如果是预测健康险还需要一些被保人的生活习惯，身体状况，就医看病的信息；预测商场超市的销售情况，需要历史的销售订单，客户信息，商品信息；预测不良产品，需要生产的工艺参数，环境，原料情况等数据。总之，收集到的相关信息越多，预测效果也会越好。

采集数据时，通常会截取某一段时期的历史数据来制作宽表，比如我们想预测7月份用户的违约情况，可以采集1-6月份的数据来训练建立模型。数据采集的时间范围并不是固定的，可以灵活操作，例如也可以是近1年或者近3个月等等。

准备好的宽表可以是Excel格式或csv格式，第一行是标题，后面每一行都是一条历史记录。

如果企业有建设好的信息系统，那可以找IT部门要这些数据，很多企业的BI系统中可以直接导出这种数据。

## 2. 下载软件，配置建模外部库 ##

SPL 在易明建模外部库的配合下可以提供全自动化的建模预测功能。

### （1）下载安装集算器（SPL）和易明建模软件 ###

集算器下载：  
[ “http://c.raqsoft.com.cn/article/1595816810031” ][_http_c.raqsoft.com.cn_article_1595816810031_]

易明建模下载：[ “http://www.raqsoft.com.cn/download/download-ymodel” ][_http_www.raqsoft.com.cn_download_download-ymodel_]

安装集算器和建模软件，并记录安装目录，比如：C:\\Program Files\\raqsoft\\ymodel

![fdaa15fa971631dd9c27661c6fb933a7.png][]

### （2）在SPL中配置外部库 ###

#### （a）复制外部库所需要的文件 ####

在易明建模的安装目录下找 YModelCil 和 lib 文件夹

![f8837bcb1fa5c96c1a5744994ff522ea.png][]

然后去这两个文件夹里找到建模外部库所需要的文件，复制到集算器目录（【安装根目录】\\esProc\\extlib\\YModelCil），比如C:\\Program Files\\raqsoft\\esProc\\extlib\\YModelCli。

建模外部库所需的文件有：

1>易明建模目录的YModelCil中含有以下jar和xml

ant-1.8.2.jar  
commons-beanutils.jar  
commons-lang-2.6.jar  
ezmorph-1.0.2.jar  
json-lib-1.1-jdk13.jar  
raq-ymodel-cli-2.10.jar  
userconfig.xml

2>易明建模的lib中含有以下jar

commons-io-2.4.jar  
esproc-ext-20211104.jar  
fastjson-1.2.58.jar  
gson-2.8.0.jar  
jackson-annotations-2.9.6.jar  
jackson-core-2.9.6.jar  
jackson-databind-2.9.6.jar  
jackson-databind-2.9.6-sources.jar  
jackson-dataformat-msgpack-0.8.14.jar  
mining.jar  
msgpack-0.6.12.jar  
msgpack-core-0.8.16.jar

#### （b）设置userconfig.xml文件参数 ####

在集算器目录esProc\\extlib\\YModelCil下的userconfig.xml文件中设置参数

<table> 
 <tbody> 
  <tr> 
   <td>名称 </td> 
   <td>参数说明 </td> 
  </tr> 
  <tr> 
   <td>sAppHome </td> 
   <td>易明建模的安装目录 </td> 
  </tr> 
  <tr> 
   <td>sPythonHome </td> 
   <td>易明建模目录的Python路径 Windows: raqsoft\ymodel\Python37 Linux: raqsoft/ymodel/Python37/bin/python3.7 </td> 
  </tr> 
  <tr> 
   <td>iPythonServerPort </td> 
   <td>Python服务网络端口 </td> 
  </tr> 
  <tr> 
   <td>iPythonProcessNumber </td> 
   <td>Python进程数 </td> 
  </tr> 
  <tr> 
   <td>bAutoDecideImpute </td> 
   <td>是否智能补缺 </td> 
  </tr> 
  <tr> 
   <td>iResampleMultiple </td> 
   <td>重抽样次数 </td> 
  </tr> 
 </tbody> 
</table>

其中必须要配置的参数为sAppHome和sPythonHome，其他参数可以采用默认值，有需要再进行修改。比如可以配置参数如下，加粗部分是必须要配置的，根据自己的安装路径。

<?xml version="1.0" encoding="UTF-8"?>
    <Config Version="1">
        <Options>
            <Option Name="sAppHome" Value="C:\Program Files\raqsoft\ymodel"/>
    		<Option Name="sPythonHome" Value="C:\Program Files\raqsoft\ymodel\Python37\python.exe"/>
    		<Option Name="iPythonServerPort" Value="8510"/>
    		<Option Name="iPythonProcessNumber" Value="2"/>
      	    <Option Name="bAutoDecideImpute" Value="true"/>
    		<Option Name="iResampleMultiple" Value="150"/>				
        </Options>
    </Config>

其实，从这里可以看出，易明建模也是基于Python写的，但它将Python算法做了封装后，程序员就不必再理解算法的数学原理和运行细节了。

#### （c）SPL环境配置 ####

**1>. 配置外部库**

打开SPL，在选项菜单里，外部库选择里勾选YModelCli，使其生效。外部库的路径为第（1）步骤中集算器YModelCli的安装路径。

![373ce32ee273287163b78b97674a943e.png][]

在无图形界面的服务器中去集算器的安装目录下esProc\\config\\raqsoftConfig.xml文件中进行配置外部库路径和名称。

`<extLibsPath>`外部库路径

`<importLibs>`外部库名称（可多个）

**2>. 线程数设置**

如果有并发预测，还需要在SPL设置“最大并行数”，也就是线程数。设置多少用户根据需求和机器情况自行设定。

![c53816c07acd99bc71a9849f71d98ca3.png][]

在无图形界面的服务器中去集算器的安装目录下esProc\\config\\raqsoftConfig.xml文件中进行配置。

`<parallelNum>`最大并行数

到此，环境配置完成。

## 3. 建模和预测 ##

### （1）加载数据 ###

SPL能支持csv，excel或数据库中的数据用于建模，这里以csv为例，其它数据源类似。

设有一个贷款违约数据表如下，需要建模来预测新用户是否会发生违约行为。

![a0fdf69df3eee924d4714054d29d0cbe.png][]

文件命名为bank-full.csv；

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td>A</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>=file("bank-full.csv").import@tc() </td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>=ym_env() </td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>=ym_model(A2,A1) </td> 
  </tr> 
 </tbody> 
</table>

A1 导入建模数据，读成序表

![a254b295ba88983b63bd9e46b778d705.png][]

A2 初始化环境，执行A2后会在易明建模的安装目录下生成store目录及子目录用以保存数据及结果文件。

A3 加载建模文件，生成md对象

### （2）目标变量设置和变量统计 ###

数据加载进来后要设置目标变量

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td>A</td> 
  </tr> 
  <tr> 
   <td>…</td> 
   <td>… </td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>=ym_target(A3,"y") </td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>=ym_statistics(A3,"age") </td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>=A1.fname().(ym_statistics(A3,~)) </td> 
  </tr> 
 </tbody> 
</table>

A4 表示将字段“y”设置为目标变量，目标变量可以是二值变量或数值型变量。

A5 查看某个变量的统计指标，比如 “age”，返回值中可以看到缺失率，最大最小值，异常值，数据分布图等参数。

![35dc5a3c40a1c1e2a61ae476aaed325a.png][]

A6 循环变量名查看所有字段的统计信息，返回包含所有字段的统计信息二级序列。

![c9380d27fe1be2eb2e385bfd0e4b9795.png][]

### （3）建立模型和模型表现 ###

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td>A</td> 
  </tr> 
  <tr> 
   <td>…</td> 
   <td>… </td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>=ym_build_model(A3) </td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>=ym_present(A7) </td> 
  </tr> 
  <tr> 
   <td>9</td> 
   <td>=ym_performance(A7) </td> 
  </tr> 
  <tr> 
   <td>10</td> 
   <td>=ym_importance(A7).sort@z(Importance) </td> 
  </tr> 
 </tbody> 
</table>

A7 使用建模函数建立模型，执行后在后台会进行全自动化数据预处理和建模过程，此过程会耗费一些时间，时间长短取决于数据量。结果返回pd模型对象。

模型建好后，可以调用pd模型对象查看模型信息、模型质量和重要度。

A8 返回模型AUC值及参数

![105ebf5c430406e0de84a96d20eaa6e1.png][]

A9 返回多种模型指标和图形，诸如AUC，ROC, Lift……

![0c832979c2e27943265bbc4ad5dcc791.png][]

比如点击A9的第6条记录的Value，然后点击右上角“图形浏览”图标，数值字段选择“Lift”，就可以查看Lift曲线

![ca349d6f38ec0eabb9e4cd47561065be.png][]

A10 会返回每个变量对目标变量的影响程度并且按照重要度降序排列。数值越大对目标变量的影响程度越大。降序排列分析起来更加直观。

![288f77c71867012b1f21fb9ef465e545.png][]

### （4）保存模型 ###

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td>A</td> 
  </tr> 
  <tr> 
   <td>…</td> 
   <td>… </td> 
  </tr> 
  <tr> 
   <td>11</td> 
   <td>=ym_save_pcf(A7,"bankfull.pcf") </td> 
  </tr> 
  <tr> 
   <td>12</td> 
   <td>=ym_json(A7) </td> 
  </tr> 
  <tr> 
   <td>13</td> 
   <td>&gt;ym_close(A2) </td> 
  </tr> 
 </tbody> 
</table>

A11 将模型保存为”bankfull.pcf”，默认保存路径为\[sAppHome\]/store/predict。

A12 将模型信息以json串形式返回。json内容详解可参考在线文档[《json参数说明》][json]

A13 关闭环境，释放资源。

### （5）预测 ###

预测之前需要有pcf模型文件和预测数据集

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td>A</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>=ym_env() </td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>=ym_load_pcf("bankfull.pcf") </td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>=file("bank-full2.csv").import@tc() </td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>=ym_predict(A2,A3) </td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>=ym_result(A3) </td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>=file("bank-full_result.csv").export@tc(A4) </td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>&gt;ym_close(A1) </td> 
  </tr> 
 </tbody> 
</table>

A1 初始化环境

A2 导入pcf模型文件，生成pd模型对象。

A3 导入预测数据集，读成序表

A4 对序表数据执行预测。除序表外，还支持游标、csv文件和mtx文件，比如A4也可以直接写成ym\_predict(A2,“bankfull2.csv”)

A5 获取预测结果

A6 将预测结果导出，在本例中预测结果为用户发生违约行为的概率。  
![9f22b34337b3a9d96a2afc7296edfbd0.png][]

A7 关闭环境，释放资源

## 4. 集成调用 ##

SPL还可以被上层应用集成调用，比如SPL可以嵌入到Java应用，详情请参考：[http://c.raqsoft.com.cn/article/1615765346560][http_c.raqsoft.com.cn_article_1615765346560]

## 总结 ##

使用SPL配合易明建模来实现数据建模预测非常简单，程序员不需要理解深奥的数学原理，只要准备好训练数据，简单几步就可以完成数据建模任务了。而且还可以轻松地把这个功能嵌入到应用程序中，高深的人工智能不再是少量数据科学家的专利。

SPL本来就超强的数据处理能力，能更方便地完成人工智能算法之前的数据准备工作，同时也提供了丰富的数学函数： [SPL Math 例程][SPL Math]，有些数学基础想自己实现建模过程的同学也可以进一步研究。

[a0fdf69df3eee924d4714054d29d0cbe.png]: https://img-blog.csdnimg.cn/img_convert/a0fdf69df3eee924d4714054d29d0cbe.png
[_http_c.raqsoft.com.cn_article_1595816810031_]: http://c.raqsoft.com.cn/article/1595816810031
[_http_www.raqsoft.com.cn_download_download-ymodel_]: http://www.raqsoft.com.cn/download/download-ymodel
[fdaa15fa971631dd9c27661c6fb933a7.png]: https://img-blog.csdnimg.cn/img_convert/fdaa15fa971631dd9c27661c6fb933a7.png
[f8837bcb1fa5c96c1a5744994ff522ea.png]: https://img-blog.csdnimg.cn/img_convert/f8837bcb1fa5c96c1a5744994ff522ea.png
[373ce32ee273287163b78b97674a943e.png]: https://img-blog.csdnimg.cn/img_convert/373ce32ee273287163b78b97674a943e.png
[c53816c07acd99bc71a9849f71d98ca3.png]: https://img-blog.csdnimg.cn/img_convert/c53816c07acd99bc71a9849f71d98ca3.png
[a254b295ba88983b63bd9e46b778d705.png]: https://img-blog.csdnimg.cn/img_convert/a254b295ba88983b63bd9e46b778d705.png
[35dc5a3c40a1c1e2a61ae476aaed325a.png]: https://img-blog.csdnimg.cn/img_convert/35dc5a3c40a1c1e2a61ae476aaed325a.png
[c9380d27fe1be2eb2e385bfd0e4b9795.png]: https://img-blog.csdnimg.cn/img_convert/c9380d27fe1be2eb2e385bfd0e4b9795.png
[105ebf5c430406e0de84a96d20eaa6e1.png]: https://img-blog.csdnimg.cn/img_convert/105ebf5c430406e0de84a96d20eaa6e1.png
[0c832979c2e27943265bbc4ad5dcc791.png]: https://img-blog.csdnimg.cn/img_convert/0c832979c2e27943265bbc4ad5dcc791.png
[ca349d6f38ec0eabb9e4cd47561065be.png]: https://img-blog.csdnimg.cn/img_convert/ca349d6f38ec0eabb9e4cd47561065be.png
[288f77c71867012b1f21fb9ef465e545.png]: https://img-blog.csdnimg.cn/img_convert/288f77c71867012b1f21fb9ef465e545.png
[json]: http://d.raqsoft.com.cn:6999/YModel/jsonpara/
[9f22b34337b3a9d96a2afc7296edfbd0.png]: https://img-blog.csdnimg.cn/img_convert/9f22b34337b3a9d96a2afc7296edfbd0.png
[http_c.raqsoft.com.cn_article_1615765346560]: http://c.raqsoft.com.cn/article/1615765346560
[SPL Math]: http://c.raqsoft.com.cn/article/1660222049358