通过机器学习得到样本的特征权重

不念不忘少年蓝@ 2021-11-16 05:58 404阅读 0赞

## 描述： ##

计算每个特征对样本集进行划分所获得的信息增益，然后做归一化处理可以得到每个特征的权重

## 目标： ##

样本降维

## 一种算法策略：参考决策树的划分选择 ##

首先引入概念**信息熵**、**信息增益。**

**信息熵**（information entropy）是度量样本几何纯度最常用的一种指标。假定样本集合D中第k类样本所占的比例为

![2019073017495472.png][]

则D的信息熵定义为

![2019073017495482.png][] **（1.1）**

**（熵在物理学上指混乱程度，因此熵越低信息越确定。举个极端的例子，样本集只有一个类别+1，那么P1=1,Ent(D)=0,信息熵为0即非常确定，因为随便取一个样本都是+1）**

假定离散属性a有V个可能的取值![2019073017531840.png][],若使用a来对样本集D进行划分，则会产生V个子集，其中第v个子集包含了D中所有在属性a上取值为![20190730175339110.png][]的样本，记为![20190730175359666.png][]。可以根据式（1.1）计算出![20190730175406956.png][]的信息熵，再考虑到不同的子集所包含的样本数不同，给子集赋予权重![20190730175420472.png][]，即样本数越多的子集的影响越大，于是可以计算出用属性a对样本集D进行划分所获得的**信息增益**（information gain）

![20190730175434721.png][] （1.2）

假定样本集D上第j个特征![20190730175602444.png][]（![20190730175602451.png][]），可以计算出每个特征![20190730175602479.png][]在训练数据集D下的信息增益![20190730175602470.png][]，于是得到K个信息增益值，对其做归一化处理，可以得到每个特征所占的权重：

![20190730175636604.png][] （1.3）

**下面举个例子来更好的理解上述公式。**

假定某二分类数据集有17个样本，其中正例8个，反例9个，显然|y|=2。因此![20190730184544105.png][]，![2020122322502067.png][]，根据式（1.1）可以计算出信息熵为

![20190730184812591.png][]

假定该数据集有6个特征\{颜色，形状，声响，纹理，触感，气味\}，然后我们要计算出每个特征的信息增益。以“颜色”为例，假定它有3个可能的取值：\{红色，绿色，蓝色\}。用该特征对数据集D进行划分，则可得到3个子集，分别记为![20190730184544124.png][]（颜色=红色），![20190730184544139.png][]（颜色=绿色），![20190730184544142.png][]（颜色=蓝色）。

假定![20190730184544141.png][]有6个样本，其中正例占![20190730184544156.png][]，反例占![20190730184544158.png][]。![20190730184544168.png][]有6个样本，其中正例占![20190730184544172.png][]，反例占![20190730184544189.png][]。![20190730184544185.png][]有5个样本，其中正例占![20190730184544192.png][]，反例占![20190730184544211.png][] 。根据式(1.1)可以计算出用“颜色”划分之后所获得的3个子集的信息熵为

![20190730184544218.png][]

![20190730184544222.png][]

![20190730184544238.png][]

于是，根据式(1.2)可以计算出特征“颜色”的信息增益为

![20201223225617414.png][]

同理可得其他特征的信息增益：

![20190730184544273.png][]

![20190730184544265.png][]

![20190730184544271.png][]

![20190730184544276.png][]

![20190730184544282.png][]

根据式(1.3)可以计算出每个属性的权重：

![20190730184544305.png][]

![20190730184544298.png][]

![20190730184544311.png][]

![20190730184544332.png][]

![20190730184544324.png][]

![20190730184544330.png][]

参考资料：

1.  [CSDN.利用分类模型学习特征权重][CSDN.]
2.  周志华.《机器学习》\[M\].北京：清华大学出版社，2016

[2019073017495472.png]: /images/20211116/33351b4079fc48c0ab36fa2e4ea6224c.png
[2019073017495482.png]: /images/20211116/ce450d250ce046e590c07e6ce3f9d434.png
[2019073017531840.png]: https://img-blog.csdnimg.cn/2019073017531840.png
[20190730175339110.png]: https://img-blog.csdnimg.cn/20190730175339110.png
[20190730175359666.png]: https://img-blog.csdnimg.cn/20190730175359666.png
[20190730175406956.png]: https://img-blog.csdnimg.cn/20190730175406956.png
[20190730175420472.png]: /images/20211116/7cc3d44360c94267817ddbae37ee4f6b.png
[20190730175434721.png]: /images/20211116/ffc941a122584d35be7c4129ae1b200f.png
[20190730175602444.png]: https://img-blog.csdnimg.cn/20190730175602444.png
[20190730175602451.png]: https://img-blog.csdnimg.cn/20190730175602451.png
[20190730175602479.png]: https://img-blog.csdnimg.cn/20190730175602479.png
[20190730175602470.png]: /images/20211116/9d3bd0ed656542188d46fffdf886f227.png
[20190730175636604.png]: /images/20211116/cbbbd16d9d94433c83b479c8bc904c4e.png
[20190730184544105.png]: https://img-blog.csdnimg.cn/20190730184544105.png
[2020122322502067.png]: /images/20211116/3b78b73daf2342f68bb013a389445416.png
[20190730184812591.png]: /images/20211116/0a37a96e4db748ecaebb9a01248cee23.png
[20190730184544124.png]: https://img-blog.csdnimg.cn/20190730184544124.png
[20190730184544139.png]: https://img-blog.csdnimg.cn/20190730184544139.png
[20190730184544142.png]: /images/20211116/c566bda7a19f44118c31b3906b9c9350.png
[20190730184544141.png]: https://img-blog.csdnimg.cn/20190730184544141.png
[20190730184544156.png]: https://img-blog.csdnimg.cn/20190730184544156.png
[20190730184544158.png]: https://img-blog.csdnimg.cn/20190730184544158.png
[20190730184544168.png]: https://img-blog.csdnimg.cn/20190730184544168.png
[20190730184544172.png]: https://img-blog.csdnimg.cn/20190730184544172.png
[20190730184544189.png]: https://img-blog.csdnimg.cn/20190730184544189.png
[20190730184544185.png]: https://img-blog.csdnimg.cn/20190730184544185.png
[20190730184544192.png]: https://img-blog.csdnimg.cn/20190730184544192.png
[20190730184544211.png]: /images/20211116/c4c4d7ec24e540d9b07fcd731293d6d1.png
[20190730184544218.png]: /images/20211116/6e1676ceeef443ef85c161e0c8d0c401.png
[20190730184544222.png]: /images/20211116/b56bb49d0c6146b4a54929b1908fc444.png
[20190730184544238.png]: /images/20211116/ab7bbb4a479f4dc3b5dd4eb9037e7183.png
[20201223225617414.png]: /images/20211116/9b17d556aaab4dc7859b4f8b67afbf52.png
[20190730184544273.png]: /images/20211116/72856f9047bc469bbebfc2780cba13d0.png
[20190730184544265.png]: /images/20211116/32db365ff5e84a27b75d9ab38b378b67.png
[20190730184544271.png]: /images/20211116/2a741ce57fd64da194440830b1f54fb1.png
[20190730184544276.png]: /images/20211116/6c0f96b5a4ad4495ad130a6e1b97de87.png
[20190730184544282.png]: /images/20211116/e2a64d64457442509041f806ed2abac4.png
[20190730184544305.png]: /images/20211116/21e9258fd4b044cca19a4c1d45896134.png
[20190730184544298.png]: /images/20211116/28bdcbeea4764680adeef61b9667e2cb.png
[20190730184544311.png]: /images/20211116/1f0118aa86504e9c8890451a64810ba4.png
[20190730184544332.png]: /images/20211116/085395c45dd24f5690501ee4214c81d4.png
[20190730184544324.png]: /images/20211116/1f3ae60369134abeb7c71802828934fb.png
[20190730184544330.png]: /images/20211116/99d7ead7ac2b489cb78222008b013e05.png
[CSDN.]: https://blog.csdn.net/shijing_0214/article/details/51568705