基于Xgboost + LR + Keras 建模评估用户信用状态

超、凢脫俗 2022-09-25 00:23 102阅读 0赞

1.  项目背景  
    拍拍贷“魔镜风控系统”基于400多个数据维度来对当前用户的信用状态进行评估，通过历史数据每个借款人的性别、年龄、籍贯、学历信息、通讯方式、网站登录信息、第三方时间信息等用户信息以及对应的分类标签，在此基础上结合新发标的用户信息，得到用户六个月内逾期率的预测，为金融平台提供关键的决策支持。
2.  数据格式  
    数据下载–点这里  
    这里面包含三期数据，每期数据内容和格式相同，这里面包括两部分信息：  
    一部分是Master  
    PPD\_dat\_1.csv  
    PPD\_dat\_2.csv  
    PPD\_dat\_3.csv  
    ![这里写图片描述][20160803164344816]  
    一部分是Log info  
    PPD\_daht\_1\_LogInfo.csv PPD\_daht\_2\_LogInfo.csv PPD\_daht\_3\_LogInfo.csv  
    ![这里写图片描述][20160803164657415]  
    一部分是Update info  
    PPD\_daht\_1\_Userupdate.csv  
    PPD\_daht\_2\_Userupdate.csv  
    PPD\_daht\_3\_Userupdate.csv  
    ![这里写图片描述][20160803164808071]

## 3. 问题思路 ##

数据清洗

*  对数据的合并：要把几次的数据合并到一起；要把主表和日志表合并在一起；要把训练集和测试集合并在一起。
 *  对字符空格的转换：存在着汉字和英文字符，需要转换成数值形式；存在着数据表达不统一的情况，比如北京和北京市，QQ和Qq，以及多空格等情况。  
    
    
     *  对LogInfo与UserupdateInfo 日期信息的处理等：历史记录相对于主表的主要差异在于对于每个index的各项信息，主表是按列汇总，而历史记录是按行堆叠，因此将历史记录按index 分组，将各行信息汇总到各列上，使得各个index 对应唯一一行以与主表连接。此外，对每笔贷款的历史记录中的时间信息，通常其起始时间和登陆/更新信息的总频率对衡量借款人的行为较为重要。

数据摘要

*  它的作用是简化并理解数据特征，主要包括了变量的类型、变量空值/非空值数据、变量频数前五的值与对应数量、其他值的数量、数字变量的统计量（均值、方差、四分位数）

特征工程

*  数值特征的保留与非数值特征的转换：有额外信息的非数值变量转化为对应的数值：时间–>年月日周、相对天数，地名–>经纬度和城市等级，定序变量–>序数；其他非数值变量全部0-1哑变量处理。
 *  选取统计量概况一系列相似变量：取中位数、方差、求和、最值、空值树等概况各时期第三方信息、几个城市变量信息等，统计量尽量要相互独立
 *  删除稀疏特征：空值/同一值占绝大比例的列
 *  删除共线特征：相关矩阵的严格下三角阵有接近正负1的列
 *  使用中位数填充空值，通常数据分布不对称时，中位数比平均数更能保持排序关系
 *  最后正态标准化：rank与正态分布的百分位函数复合。之所以考虑正态标准化，是为了应对实际数据的大量有偏分布和极端值，在正态标准化的情况下，数据只保留排序关系，彻底去除了有偏分布和极端值，在大样本下能满足众多模型假设，在本次数据集下能明显提高逻辑回归和神经网络的效果。

模型选择

*  Logistic Regression 简单、快捷、稳健、可解释性强，工业界最常用的模型之一。虽然LR模型对变量关系的线性限制，使得其难以达到最优，但可以在建模时通过增加L2罚函数 来减少过拟合；此外，作为基准，能够对数据清洗效果和模型表现作出快速评估。最后，与树模型、神经网络模型等模型差异度较大，适合进行模型的加权组合，补充模型精度。
 *  XGBoost 适合处理非线性、变量成分多元化、样本和变量间无固定模式关联（图像、语音），在KDDCup等竞赛中表现优秀的模型之一。如果以精度为目标，综合稳健性、速度、通用性等因素可以首选XGBoost
 *  Keras ,深度学习框架，分为线性模型和泛化模型，其中里面各层独立，灵活性高。深度学习的出发点是各变量充满复杂的非线性关系，通过不断优化网络权值向真实关联趋近；而XGBoost 的出发点是认为各变量独立，从决策树的二分关联叠加向真实关联趋近。所以两者各有特点，有较高的互补性。

交叉检验

*  相比于使用单训练预测集建模，交叉检验的优势在于：1.更准确的估计模型预测精度（均值）2，预估模型预测效果范围（标准差） 3，减少过拟合
 *  实现步骤：1.将样本行的index 随机拆成10份保存，2. 每次取一份作为验证集，其他九份一起作为训练集，进行训练，得到一个模型，3. 依次取不同的一份作为验证集，一共得到10个模型，4. 通过将10个模型取平均进行预测。

变量评估和处理

*  XGBoost 在建模过程中同时可以得到模型中各个特征的重要程度，可以作为特征重要性的判断标准
 *  LR 模型训练完成后每个特征都有一个权值，权值的大小和正负反映了该特征的重要程度和方向、
 *  通过以上方法可以得到判断出最重要的特征集合，进行可以对这些特征再进行一定的特征工程，实现信息挖掘最大化；同时也能判断出相对影响力极小的特征，需要情况下可以进行清除。

参数优化

在特征工程和模型选择之后，有一项重要且考验耐心的工作，那就是调参。通常情况下，要做以下步骤：  
1. 调参之前，理解模型和参数的含义。（否则你很可能不知道调参的粒度和调参的方向）  
2. 先用单数据集，从默认值开始，手工逐个调整，对于参数范围大的采取等比数列的方式增加/减少粒度，对于参数范围小的采取等差数列的方式增加/减少粒度。这样做的结果是对各个参数确定了一个合理的范围。  
3. 然后可以采用交叉验证和组合搜索的方法来自动得到最优参数，这个过程可能较长，所以这里交叉验证的折数不要太大。另外折数小除了节约时间以外，同时也因为数据集的不同，避免在最后的结果上造成过拟合

模型融合

*  一种方法是加权融合，
 *  一种方法是基于rank 融合。

4 算法实现过程及其代码细节

4.1 数据清理  
引入的包

"""
    Created on Sat Jun 18 10:06:28 2016
    @author: Yes,boy! 
    """
    import pandas as pd
    import numpy  as np
    
    path = "D:/InAction/PPDS/data"
    title = "PPD"

第一部分是处理主表：  
我们首先构造一个函数Read\_concat\_csv,来实现几份数据的合并，通过pandas.concat 来实现。

#输入：文件名列表，read_csv方法中的参数字典
    #输出：合并后的数据集
    def Read_concat_csv(file,par_csv={}):
        da = pd.concat(map(lambda x:pd.read_csv(x,**par_csv),file))
        return da

这里面有三处语法细节：  
1. pd.read\_csv()  
2. map()  
3. concat

接着构造一个对数据不统一情况的处理，比如北京和北京市，河南和河南省，以及多余的空格

#输入：一个字符串
    #输出：处理掉空格、市、省的字符串
    def Del_string(xstr):
        xstrc = xstr.strip().strip(u"市").strip(u"省")
        if xstrc=="":
            xstrc = np.nan
        return xstrc

这里面有一个语法细节：strip()

接下来是对主表开始处理：

par_csv = dict(index_col = 0, encoding = "GB18030", parse_dates = ["ListingInfo"], na_values = [-1], 
                   converters = dict(zip(*[["UserInfo_{}".format(i) for i in [9, 2, 4, 8, 20, 7, 19]], [Del_string]*7])))#六列地名,一列通讯
    
    file_dat = ["{}/{}_dat_{}.csv".format(path, title, 1+x) for x in range(3)]
    file_dav = ["{}/{}_dav.csv".format(path, title)]
    dat = Read_concat_csv(file_dat, par_csv)
    dav = Read_concat_csv(file_dav, par_csv)
    #np.save("{}/{}_irt.npy".format(path, title), list(dat.index))
    #np.save("{}/{}_irv.npy".format(path, title), list(dav.index))
    da = pd.concat([dat, dav])

第二部分是处理Log 和 Update 表

def Read_History(file, icid, ictime, par_csv = {}):
        '''Organize Time-Dependent Historical Records
    
        Parameters
        ----------
        file: a list of file name
        icid: column name of id
        ictime: a list of 2 column names: [basetime, recordtime]
        par_csv: other parameters for pd.read_csv
        set_index(list) 把list 中的列都变成index 
        sort_index() 对 index 进行升序排列
        '''
        par = {
       "parse_dates": ictime}
        par.update(par_csv)
        dah = Read_concat_csv(file, par)
        dahb = (dah.assign(Id = dah[icid], Time = (dah[ictime[1]] - dah[ictime[0]]).astype('timedelta64[D]')).set_index(["Id", "Time"])
                .drop([icid]+ictime, axis = 1).sort_index())
        return(dahb)

接下来对两个表调用函数进行处理  
““  
dah1 = Read\_History(file = \[“\{\}/\{\}\_dah\{\}\_LogInfo.csv”.format(path, title, x) for x in \[“t\_1”, “t\_2”, “t\_3”, “v”\]\],  
icid = ‘Idx’, ictime = \[‘Listinginfo1’, ‘LogInfo3’\])

dah2 = Read\_History(file = \[“\{\}/\{\}\_dah\{\}\_Userupdate.csv”.format(path, title, x) for x in \[“t\_1”, “t\_2”, “t\_3”, “v”\]\],  
icid = ‘Idx’, ictime = \[‘ListingInfo1’, ‘UserupdateInfo2’\],  
par\_csv = \{“converters”: \{“UserupdateInfo1”: lambda x: x.lower()\}\})  
“\`

[20160803164344816]: /images/20220719/0d3f720d08fa4d378b56097c11c623ac.png
[20160803164657415]: /images/20220719/0b6eb6dc7ad840b3bb815b4ad63edb6f.png
[20160803164808071]: /images/20220719/9bacc7014eac49d195315d3d05175318.png