深度学习之感知机

素颜马尾好姑娘i 2022-04-02 03:39 438阅读 0赞

感知机作为神经网络的起源算法，在1957年是由美国学者Frank Rosenblatt 提出来的。其实，感知机也被称为“人工神经元”或“朴素感知机”，因为在一般情况下的处理都是共通的，所以就被统称为“感知机”了。

### 那么，感知机到底是什么呢？ ###

下图是有两个输入信号的感知机的例子：![x\_1][x_1]和![x\_2][x_2] 是输入信号，![y][] 是输出信号，其中![w\_1][w_1]和![w\_2][w_2]分别是![x\_1][x_1]和![x\_2][x_2] 的权重。图中符号“![\\circle][circle]”表示的是“神经元”或“节点”。当输入信号![x\_1][x_1]和![x\_2][x_2] 被输入至神经元时，会分别乘以各自的权重![w\_1][w_1]和![w\_2][w_2]，最后这两个信号的总和就是神经元传送的值，只有当这个总和大于某个阈值![\\theta][theta]（界限值）时，才会输出1，否者输出0。这一操作也被称为“神经元被激活”。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70][]

综上述，感知机的运行原理可以用下面的数学公式表达：

![y=\\begin\{cases\} & \\text\{ 0 \} (w\_1x\_1+w\_2x\_2)\\leq \\theta \\\\ & \\text\{ 1 \} (w\_1x\_1+w\_2x\_2)> \\theta \\end\{cases\}][y_begin_cases_ _ _text_ 0 _ _w_1x_1_w_2x_2_leq _theta _ _ _text_ 1 _ _w_1x_1_w_2x_2_ _theta _end_cases]

感知机的多个输入信号都有各自固有的权重，这些权重发挥着控制各个信号的重要性的作用。也就是说，权重越大，对应该权重的信号的重要性就越高。

### 感知机的简单实现 ###

现在让我们考虑用感知机来解决简单的逻辑电路问题。

1、与门

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70 1][]

# coding: utf-8
    #在这里，我们选择一个符合上述与门的真值表的参数例子
    
    import numpy as np
    
    def AND(x1, x2):
        x = np.array([x1, x2]) #输入
        w = np.array([0.5, 0.5]) #权重
        b = -0.7  #偏置参数,用于控制神经元被激活的容易程度
        tmp = np.sum(w*x) + b
        if tmp <= 0:
            return 0
        else:
            return 1
    
    if __name__ == '__main__':
        for xs in [(0, 0), (1, 0), (0, 1), (1, 1)]:
            y = AND(xs[0], xs[1])
            print(str(xs) + " -> " + str(y))

结果显示：

(0, 0) -> 0
    (1, 0) -> 0
    (0, 1) -> 0
    (1, 1) -> 1
    
    Process finished with exit code 0

2、与非门

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70 2][]

# coding: utf-8
    import numpy as np
    
    
    def NAND(x1, x2):
        x = np.array([x1, x2])
        w = np.array([-0.5, -0.5])
        b = 0.7
        tmp = np.sum(w*x) + b
        if tmp <= 0:
            return 0
        else:
            return 1
    
    if __name__ == '__main__':
        for xs in [(0, 0), (1, 0), (0, 1), (1, 1)]:
            y = NAND(xs[0], xs[1])
            print(str(xs) + " -> " + str(y))

结果显示：

(0, 0) -> 1
    (1, 0) -> 1
    (0, 1) -> 1
    (1, 1) -> 0
    
    Process finished with exit code 0

3、或门

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70 3][]

# coding: utf-8
    import numpy as np
    
    
    def OR(x1, x2):
        x = np.array([x1, x2])
        w = np.array([0.5, 0.5])
        b = -0.2
        tmp = np.sum(w*x) + b
        if tmp <= 0:
            return 0
        else:
            return 1
    
    if __name__ == '__main__':
        for xs in [(0, 0), (1, 0), (0, 1), (1, 1)]:
            y = OR(xs[0], xs[1])
            print(str(xs) + " -> " + str(y))

结果显示：

(0, 0) -> 0
    (1, 0) -> 1
    (0, 1) -> 1
    (1, 1) -> 1
    
    Process finished with exit code 0

4、异或门

![20181225154023932.png][]

# coding: utf-8
    from and_gate import AND
    from or_gate import OR
    from nand_gate import NAND
    
    
    def XOR(x1, x2):
        s1 = NAND(x1, x2)
        s2 = OR(x1, x2)
        y = AND(s1, s2)
        return y
    
    if __name__ == '__main__':
        for xs in [(0, 0), (1, 0), (0, 1), (1, 1)]:
            y = XOR(xs[0], xs[1])
            print(str(xs) + " -> " + str(y))

结果显示：

(0, 0) -> 0
    (1, 0) -> 1
    (0, 1) -> 1
    (1, 1) -> 0
    
    Process finished with exit code 0

实际上，异或门的实现在上述代码中，用到了与门、与非门和或门，那为什么不能够单独的使用其中一种的方法实现呢？我们将简单的图示来解释其中原因。

首先，我们将或门可视化，在这里，我们将权重参数设置为 ![(b, w\_1, w\_2)=(-0.5, 1.0 ,1.0)][b_ w_1_ w_2_-0.5_ 1.0 _1.0] 时， 可满足或门的真值表条件。此时，感知机可用下列公式表达：

![y=\\begin\{cases\} & \\text\{ 0 \} (-0.5+x\_1+x\_2 \\leq 0) \\\\ & \\text\{ 1 \} (-0.5+x\_1+x\_2 > 0) \\end\{cases\}][y_begin_cases_ _ _text_ 0 _ _-0.5_x_1_x_2 _leq 0_ _ _ _text_ 1 _ _-0.5_x_1_x_2 _ 0_ _end_cases]

上式中，感知机的生成是由![\-0.5+x\_1+x\_2=0][-0.5_x_1_x_2_0] 分割而成的两个空间。其中一个空间输出1，一个输出0。或门在![(x\_1, x\_2)=(0,0)][x_1_ x_2_0_0] 时输出0，在![(x\_1, x\_2)][x_1_ x_2] 为![(0, 1)、(1, 0)、(1, 1)][0_ 1_1_ 0_1_ 1] 时输出1.下图中，“○” 表示0，“△”表示1。如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70 4][]

上图中，用一条直线就可以将“○”和“△”分割开来了。那么异或门就不可如此分割。像下图这样的情况下，不可能用一条直线分割。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70 5][]

此时，只能使用一条曲线将“○”和“△”分割开来。而这，也正是感知机的局限性（它只能表示由一条直线分割的空间）。像下图弯曲的曲线无法用感知机表示。而，这样的曲线分割而成的空间称为**非线性空间**，由直线分割而成的空间称为**线性空间**。如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70 6][]

上述讲到了，单层的感知机不能表示异或门，但是感知机是可以**叠加**的（是指通过叠加层来表示异或门），在异或门的代码中可以得到验证。

### 总结 ###

• 感知机是具有输入和输出的算法。给定一个输入后，将输出一个既定的值。  
• 感知机将权重和偏置设定为参数。  
• 使用感知机可以表示与门和或门等逻辑电路。  
• 异或门无法通过单层感知机来表示。  
• 使用2层感知机可以表示异或门。  
• 单层感知机只能表示线性空间，而多层感知机可以表示非线性空间。

[x_1]: https://img-blog.csdnimg.cn/20181225111358429
[x_2]: https://img-blog.csdnimg.cn/20181225111358445
[y]: https://img-blog.csdnimg.cn/20181225111358460
[w_1]: https://img-blog.csdnimg.cn/20181225111358475
[w_2]: https://img-blog.csdnimg.cn/20181225111358487
[circle]: https://img-blog.csdnimg.cn/20181225111358528
[theta]: https://img-blog.csdnimg.cn/20181225111358606
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70]: /images/20220402/b31f3aa22e084888b60a1fb7a4ee8841.png
[y_begin_cases_ _ _text_ 0 _ _w_1x_1_w_2x_2_leq _theta _ _ _text_ 1 _ _w_1x_1_w_2x_2_ _theta _end_cases]: /images/20220402/ed6f5bd907744bb690ef7331a84a0cd3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70 1]: /images/20220402/104f3c68ee3946df83dd10f4358cf2f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70 2]: /images/20220402/5e3df30599d048069dfd9f58c547798e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70 3]: /images/20220402/7fd5118b5cf34654b2fe22efd2ea0c1c.png
[20181225154023932.png]: /images/20220402/84f01cb63895452e8bc13d1db8213197.png
[b_ w_1_ w_2_-0.5_ 1.0 _1.0]: /images/20220402/56421849c5234a9db1de8ff6f9a525bf.png
[y_begin_cases_ _ _text_ 0 _ _-0.5_x_1_x_2 _leq 0_ _ _ _text_ 1 _ _-0.5_x_1_x_2 _ 0_ _end_cases]: /images/20220402/3c431a38023d4983b312f2d798d9f60d.png
[-0.5_x_1_x_2_0]: https://img-blog.csdnimg.cn/20181225162630359
[x_1_ x_2_0_0]: https://img-blog.csdnimg.cn/2018122610063937
[x_1_ x_2]: https://img-blog.csdnimg.cn/2018122610063952
[0_ 1_1_ 0_1_ 1]: /images/20220402/ceef0899a5474665a12578dbc5f8c1c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70 4]: /images/20220402/7e744f82d0514318aaa66da458a42654.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70 5]: /images/20220402/ea37ef66b2464d36b688cf71b09e59da.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dvZF82OA_size_16_color_FFFFFF_t_70 6]: /images/20220402/63a2f031f9be43f6afecdce4548b590b.png