人工智能实战2019 - 第2次作业 - 王铈弘

我会带着你远行 2021-09-29 09:10 223阅读 0赞

<table> 
 <thead> 
  <tr> 
   <th style="text-align:left;">项目</th> 
   <th style="text-align:left;">内容</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:left;">课程</td> 
   <td style="text-align:left;"><a href="https://edu.cnblogs.com/campus/buaa/BUAA-AI-2019" rel="nofollow">人工智能实战2019</a></td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">作业要求</td> 
   <td style="text-align:left;"><a href="https://edu.cnblogs.com/campus/buaa/BUAA-AI-2019/homework/2745" rel="nofollow">第2次作业</a></td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">课程目标</td> 
   <td style="text-align:left;">学习人工智能基础知识</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">本次作业对我的帮助</td> 
   <td style="text-align:left;">学习神经网络基础知识，练习反向传播算法</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">理论课程</td> 
   <td style="text-align:left;"><a href="https://github.com/Microsoft/ai-edu/blob/master/B-%E6%95%99%E5%AD%A6%E6%A1%88%E4%BE%8B%E4%B8%8E%E5%AE%9E%E8%B7%B5/B6-%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%9F%BA%E6%9C%AC%E5%8E%9F%E7%90%86%E7%AE%80%E6%98%8E%E6%95%99%E7%A8%8B/2.1-%E7%BA%BF%E6%80%A7%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD.md" rel="nofollow">线性反向传播</a></td> 
  </tr> 
 </tbody> 
</table>

## **1. 双变量反向传播算法（更新权重）** ##

--------------------

### **1.1 Python代码** ###

def target_function(w,b):
        x=2*w+3*b
        y=2*b+1
        z=x*y
        return x,y,z
    
    def calculate_wb_factor(x,y):
        factor_b = 3*y+2*x
        factor_w = 2*y
        return factor_b, factor_w
    
    def double_variable_update(w,b,t):
        error = 1e-5
        while(True):
            x,y,z = target_function(w,b)
            delta_z = z - t
            print("w=%f,b=%f,z=%f,delta_z=%f"%(w,b,z,delta_z))
            if abs(delta_z) < error:
                break
            factor_b, factor_w = calculate_wb_factor(x,y)
            delta_b=(delta_z*factor_b/(factor_b+factor_w))/factor_b
            delta_w=(delta_z*factor_w/(factor_b+factor_w))/factor_w
            b = b - delta_b
            w = w - delta_w
            print("\n")
    
        print("\ndone!\n")
        print("w=%f,b=%f,z=%f,delta_z=%f"%(w,b,z,delta_z))
    
    if __name__=='__main__':
        w=3
        b=4
        t=150
        double_variable_update(w,b,t)

### **1.2 运行结果** ###

w=3.000000,b=4.000000,z=162.000000,delta_z=12.000000
    
    w=2.851852,b=3.851852,z=150.219479,delta_z=0.219479
    
    w=2.849039,b=3.849039,z=150.000079,delta_z=0.000079
    
    w=2.849038,b=3.849038,z=150.000000,delta_z=0.000000
    
    done!
    
    w=2.849038,b=3.849038,z=150.000000,delta_z=0.000000

### **1.3 思考与比较** ###

*  此题中，梯度下降的学习率或步长为1
 *  由于w和b对于输出z产生影响不等，应按其权重分配误差
 *  此题没有使用激活函数，否则需要在链式求导中考虑激活函数的求导（[基本数学导数公式][Link 1]）

## **2. 反向传播算法的四个基本方程** \-- 整理自《[神经网络与深度学习][Link 2]》 ##

![auto-orient][]  
这些方程给我们一种计算误差\\(\\delta^l\\)和代价函数梯度的方法，以下是简单分析：

*  输出层误差的方程（BP1）：
 *  可以用矩阵形式重写方程，以便于使用像Numpy这样的矩阵库进行运算
 *  使用下一层的误差\\(\\delta^\{l+1\}\\)来表示当前层的误差\\(\\delta^l\\)（BP2）：
 *  这会让误差通过l层的激活函数反向传递回来并给出第l层的带权输入的误差\\(\\delta\\)
 *  通过组合BP1和BP2，我们可以计算任意层的误差\\(\\delta^l\\)
 *  代价函数关于网络中任意偏置的改变率（BP3）
 *  代价函数关于任何一个权重的改变率（BP4）
 *  由公式也可以分析得出，如果神经元激活值很低，或者神经元已经接近饱和，则权重会学习效率缓慢

转载于:https://www.cnblogs.com/wangshihong/p/10541530.html

[Link 1]: https://github.com/Microsoft/ai-edu/blob/master/B-%E6%95%99%E5%AD%A6%E6%A1%88%E4%BE%8B%E4%B8%8E%E5%AE%9E%E8%B7%B5/B6-%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%9F%BA%E6%9C%AC%E5%8E%9F%E7%90%86%E7%AE%80%E6%98%8E%E6%95%99%E7%A8%8B/0-%E5%9F%BA%E6%9C%AC%E6%95%B0%E5%AD%A6%E5%AF%BC%E6%95%B0%E5%85%AC%E5%BC%8F.md
[Link 2]: https://book.douban.com/subject/26727997/
[auto-orient]: /images/20210725/646bcd90fbad45989543526cddd8fa4c.png