数据平滑处理之log1p()和exmp1()

小灰灰 2023-06-15 14:25 14阅读 0赞

今天在做题的时候学到了一点有用的东西，所以这里做个记录分享一下，有关数据预处理的两个函数问题——log1p、expm1

优点：  
在数据预处理时首先可以对偏度比较大的数据用log1p函数进行转化，使其更加服从高斯分布，此步处理可能会使我们后续的分类结果得到一个更好的结果；  
平滑处理很容易被忽略掉，导致模型的结果总是达不到一定的标准，同样使用逼格更高的log1p能避免复值得问题——复值指一个自变量对应多个因变量；  
其它的优点暂时还没发现......  
log1p的使用就像是将一个数据压缩到了一个区间，与数据的标准化类似。下面再说说它的逆运算expm1函数。

由于前面使用过log1p将数据进行了压缩，所以最后需要记得将预测出的平滑数据进行一个还原，而还原过程就是log1p的逆运算expm1。

上面介绍了两者的概念和方法的优点，下面说说具体的数学含义：

log1p和expm1的功能：  
    log1p :=       即

expm1 :=

log1p函数有它存在的意义，即保证了x数据的有效性，当x很小时（如 两个数值相减后得到），由于太小超过数值有效性，用计算得到结果为0，换作log1p则计算得到一个很小却不为0的结果，这便是它的意义（好像是用泰勒公式来展开运算的，不确定）。

同样的道理对于expm1，当x特别小，就会急剧下降出现如上问题，甚至出现错误值。

在最开始看到这样的处理方式的时候，不是很理解包括为什么是逆运算（一下子没有想到），后来慢慢摸索就优点清晰了，比如为什么两这是逆运算（简单处理）：

是e为底的对数，是e为底的指数，根据对数的规则，再进行变换推导可以得到：

可以看到x经过对数的处理后，再经过指数处理再次得到x，这里对两者的逆运算做了简单的介绍。

另外RMSLE（均方根对数误差）会更多的惩罚欠拟合，所以在使用该误差定义时我们也可以用到上面的函数：

np.loglp计算加一后的对数，其逆运算是np.expm1；  
采用此误差函数时，可以先对原始数据做np.log1p，再使用RMSE。  
————————————————  
版权声明：本文为CSDN博主「不论如何未来很美好」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。  
原文链接：https://blog.csdn.net/qq\_36523839/article/details/82422865

发表评论取消回复

表情：

评论列表（有 0 条评论，14人围观）

还没有评论，来说两句吧...

相关阅读

相关数据平滑处理之MATLAB卷积实现

数据平滑处理之MATLAB卷积实现在数据处理的过程中，我们常常需要对数据进行平滑处理。平滑处理可以帮助我们去除噪声，使得数据更加清晰，方便我们进行后续分析和应用。本文将介绍

妖狐艹你老母/ 2024年03月17日 15:41/ 0 赞/ 59 阅读

相关 ArcGIS平滑处理栅格数据

一、实验背景基于栅格数据的空间分析，常常需要根据特定的分析场景对栅格数据进行处理，如栅格数据的噪声处理。噪声是属性值具有突跃特征的像元位置，直接对带有噪声的栅格数据进行

我不是女神ヾ/ 2024年02月05日 11:56/ 0 赞/ 85 阅读

相关 1_log4j1和log4j2的简单配置

项目中添加依赖 log4j2 <dependency> <groupId>org.apache.logging.log4j</groupId>

一时失言乱红尘/ 2023年09月30日 19:46/ 0 赞/ 43 阅读

相关 1_log4j1和log4j2的简单配置

项目中添加依赖 log4j2 <dependency> <groupId>org.apache.logging.log4j</groupId>

￡神魔★判官ぃ/ 2023年09月27日 15:01/ 0 赞/ 138 阅读

相关数据平滑处理之log1p()和exmp1()

今天在做题的时候学到了一点有用的东西，所以这里做个记录分享一下，有关数据预处理的两个函数问题——log1p、expm1 优点：在数据预处理时首先可以对偏度比较大的数据用

小灰灰/ 2023年06月15日 14:25/ 0 赞/ 15 阅读

相关 python数据处理（excel）（1）

船电学院18-2中队2019-2020学年度奖状分统计 import xlrd import xlwt dic = { } data

一时失言乱红尘/ 2022年12月08日 12:57/ 0 赞/ 152 阅读

相关 python学习——log、log10、log2、log1p

在numpy库中，有各种求对数方法，下面是简单的对数方法。 <table> <tbody> <tr> <td> <p>log、log10、log2、log1

绝地灬酷狼/ 2022年05月14日 13:20/ 0 赞/ 736 阅读

相关 1.fastadmin之Log日志使用

要开始用fastadmin做小程序的后台。怎么说，这个框架封装的很好，对于我这种新手渣渣不太友好，惆怅~ 首先来谈谈日志的使用吧，如何打个log。一.概念 1

忘是亡心i/ 2022年05月13日 15:20/ 0 赞/ 2493 阅读

相关 P1 总复习

目录计算机之编程计算机组成原理计算机之操作系统编程语言变量内存管理数据类型用户交互input 格式化输出

女爷i/ 2021年11月01日 11:08/ 0 赞/ 201 阅读

相关 log4j1 如何平滑升级到log4j2呢

如题，log4j1 如何平滑升级到log4j2呢？原来使用Logger.getLogger方法获取到org.apache.log4j.Logger对象的，现在LogMan

曾经终败给现在/ 2021年06月24日 15:56/ 0 赞/ 713 阅读