通过梯度下降和牛顿法求解一个数的平方根

柔光的暖阳◎ 2022-01-28 03:49 363阅读 0赞

#### **梯度下降** ####

梯度下降法（Gradient descent）是一个一阶最优化算法，**就是让参数沿着损失函数负梯度的方向更新**。迭代的步长，也就是学习率是事先给定的，如果负梯度的绝对值越大，这次更新的幅度也会越大，越接近极值点时，负梯度会越小，这时更新就会较慢。

#### 牛顿法 ####

牛顿法是一个二阶最优化算法，它将损失函数进行二阶展开，因此会涉及到二阶导对应的海森矩阵。它的更新速度很快，但计算复杂度较高，主要是要求解海森矩阵的逆。

另外，牛顿法不仅可以用来求解函数的极值问题，还可以用来求解方程的根，二者在本质上是一个问题，因为求解函数极值的思路是寻找导数为0的点，如果要求f(x)的极值，也就是求f’(x)=0的根了。

#### 题 ####

给定一个正数，不用开根符号求解这个数的开方根。

分析：换一个思路，题目就是给定y，要求解 y − x 2 = 0 y-x^2=0 y−x2=0的根，可以通过学习的方法来实现，那以 x 2 x^2 x2为预测值，y为实际值，最小化损失函数

L = ( y − x 2 ) 2 L=(y-x^2)^2 L=(y−x2)2

对损失函数求导就可以得到每一步更新的量了，然后逐步更新即可。

下面是梯度下降和牛顿法对应的python代码：

def gradient_descent(y):
        x = 1
        alpha = 0.001  # 注意学习率不能太大，否则会震荡甚至发散，啥，不信 ？！陷入死循环之后你会改回来的
        deta = 1
        count = 1
        while abs(deta)>0.00001:
            deta = 4*x*(x**2-y)
            x -= alpha * deta
            count += 1
        return x,count
    
    def newton(y):
        x=1
        deta = 1		# 牛顿法，求解方程的根不需要学习率，它会自动确定每一步的更新步长，细节可出门谷歌
        count = 1
        while abs(deta)>0.00001:
            fx = (y-x**2)**2
            deta = 4*x*(x**2-y)
            if not deta:
                break
            x -= fx/(deta)
            count += 1
        return x,count
    
    res1, count1 = gradient_descent(16)
    res2, count2 = newton(16)
    print(res1, res2, count1,count2)