『矩阵论笔记』详解最小二乘法(矩阵形式求导)+Python实战！

系统管理员 2023-01-20 08:07 95阅读 0赞

<table> 
 <tbody> 
  <tr> 
   <td><font>详解最小二乘法(矩阵形式求导)+Python实战！</font> </td> 
  </tr> 
 </tbody> 
</table>

### 文章目录 ###

*  一. 矩阵的迹
 *   *  1.1. 转置矩阵
     *  1.2. 迹的定义
     *  1.3. 七大定理
 *  二. 最小二乘法
 *   *  2.1. 求解介绍
     *  2.2. 另一角度
     *  2.3. 最先二乘法的局限性
     *  2.3. 最小二乘法例子1
     *  2.4. 最小二乘法例子2
 *  三. 参考文献

>  *   关于最小二乘问题的求解，之前已有**梯度下降法**，还有比较快速的**牛顿迭代**。今天来介绍一种方法，是**基于矩阵求导**来计算的，它的计算方式更加简洁高效，不需要大量迭代，只需解一个正规方程组。

# 一. 矩阵的迹 #

## 1.1. 转置矩阵 ##

>  *   矩阵 A = ( 1 2 0 3 − 1 1 ) \\bf A=\\left(\\begin\{array\}\{ccc\}1 & 2 & 0 \\\\ 3 & -1 & 1\\end\{array\}\\right) A=(132−101) 的转置矩阵为 A ⊤ = ( 1 3 2 − 1 0 1 ) \\bf A^\{\\top\}=\\left(\\begin\{array\}\{cc\}1 & 3 \\\\ 2 & -1 \\\\ 0 & 1\\end\{array\}\\right) A⊤=⎝⎛1203−11⎠⎞。**转置矩阵具有如下的性质：**
>  *   ( A ⊤ ) ⊤ = A \\left(\{\\bf A^\{\\top\}\}\\right)^\{\\top\}=\\bf A (A⊤)⊤=A；
>  *   ( A + B ) ⊤ = A ⊤ + B ⊤ \\left(\{\\bf A+B\}\\right)^\{\\top\}=\\bf A^\{\\top\}+\\bf B^\{\\top\} (A\+B)⊤=A⊤\+B⊤；
>  *   ( λ A ⊤ ) = λ A ⊤ \\left(\\lambda \\bf A^\{\\top\}\\right)=\\lambda \\bf A^\{\\top\} (λA⊤)=λA⊤；
>  *   ( A B ) ⊤ = B ⊤ A ⊤ \\left(\\bf AB\\right)^\{\\top\}=\\bf B^\{\\top\}A^\{\\top\} (AB)⊤=B⊤A⊤；
>  *   tr ( A ) = tr ( A ⊤ ) \\text \{tr\}\\left(\\bf A\\right)=\\text\{tr\}(\\bf A^\{\\top\}) tr(A)=tr(A⊤)；

## 1.2. 迹的定义 ##

>  *   一个  n × n n\\times n n×n 的矩阵  A \\mathbf A A 的迹就是该矩阵**主对角线上各元素的总和**，记作  tr ⁡ ( A ) \\operatorname\{tr\}(\\mathbf A) tr(A)，如下： tr ⁡ ( A ) = ∑ i = 1 n a i i (1) \\operatorname\{tr\}(\\mathbf A)=\\sum\_\{i=1\}^\{n\} a\_\{i i\} \\tag\{1\} tr(A)=i=1∑naii(1)

## 1.3. 七大定理 ##

>  *  **定理1：** tr ⁡ ( A B ) = tr ⁡ ( B A ) (2) \\operatorname\{tr\}(\\mathbf \{AB\})=\\operatorname\{tr\}(\\mathbf \{BA\})\\tag\{2\} tr(AB)=tr(BA)(2)
>  *  **证明如下：** 假设  A \\mathbf A A 是  m × n m\\times n m×n 的矩阵，  B \\mathbf B B 是  n × m n\\times m n×m 的矩阵。  
>      tr ⁡ ( A B ) = tr ⁡ ( a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ) ( b 11 b 12 ⋯ b 1 m b 21 b 22 ⋯ b 2 m ⋮ ⋮ ⋱ ⋮ b n 1 b n 2 ⋯ b n m ) (3) \\operatorname\{tr\}\\mathbf\{(AB)\}=\\operatorname\{tr\}\\left(\\begin\{array\}\{cccc\} a\_\{11\} & a\_\{12\} & \\cdots & a\_\{1 n\} \\\\ a\_\{21\} & a\_\{22\} & \\cdots & a\_\{2 n\} \\\\ \\vdots & \\vdots & \\ddots & \\vdots \\\\ a\_\{m 1\} & a\_\{m 2\} & \\cdots & a\_\{m n\} \\end\{array\}\\right)\\left(\\begin\{array\}\{cccc\} b\_\{11\} & b\_\{12\} & \\cdots & b\_\{1 m\} \\\\ b\_\{21\} & b\_\{22\} & \\cdots & b\_\{2 m\} \\\\ \\vdots & \\vdots & \\ddots & \\vdots \\\\ b\_\{n 1\} & b\_\{n 2\} & \\cdots & b\_\{n m\}\\tag\{3\} \\end\{array\}\\right) tr(AB)=tr⎝⎜⎜⎜⎛a11a21⋮am1a12a22⋮am2⋯⋯⋱⋯a1na2n⋮amn⎠⎟⎟⎟⎞⎝⎜⎜⎜⎛b11b21⋮bn1b12b22⋮bn2⋯⋯⋱⋯b1mb2m⋮bnm⎠⎟⎟⎟⎞(3)  tr ⁡ ( B A ) = tr ⁡ ( b 11 b 12 ⋯ b 1 m b 21 b 22 ⋯ b 2 m ⋮ ⋮ ⋱ ⋮ b n 1 b n 2 ⋯ b n m ) ( a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ) (4) \\operatorname\{tr\}\\mathbf\{(BA)\}=\\operatorname\{tr\} \\left(\\begin\{array\}\{cccc\} b\_\{11\} & b\_\{12\} & \\cdots & b\_\{1 m\} \\\\ b\_\{21\} & b\_\{22\} & \\cdots & b\_\{2 m\} \\\\ \\vdots & \\vdots & \\ddots & \\vdots \\\\ b\_\{n 1\} & b\_\{n 2\} & \\cdots & b\_\{n m\}\\tag\{4\} \\end\{array\}\\right) \\left(\\begin\{array\}\{cccc\} a\_\{11\} & a\_\{12\} & \\cdots & a\_\{1 n\} \\\\ a\_\{21\} & a\_\{22\} & \\cdots & a\_\{2 n\} \\\\ \\vdots & \\vdots & \\ddots & \\vdots \\\\ a\_\{m 1\} & a\_\{m 2\} & \\cdots & a\_\{m n\} \\end\{array\}\\right) tr(BA)=tr⎝⎜⎜⎜⎛b11b21⋮bn1b12b22⋮bn2⋯⋯⋱⋯b1mb2m⋮bnm⎠⎟⎟⎟⎞⎝⎜⎜⎜⎛a11a21⋮am1a12a22⋮am2⋯⋯⋱⋯a1na2n⋮amn⎠⎟⎟⎟⎞(4)
>  *   只考虑主对角上的元素，那么有：  
>      tr ⁡ ( A B ) = ∑ i = 1 n a 1 i b i 1 + ∑ i = 1 n a 2 i b i 2 + … + ∑ i = 1 n a m i b i m = ∑ i = 1 m ∑ j = 1 n a i j b j i (5) \\begin\{aligned\} &\\operatorname\{tr\}\\mathbf\{(AB)\}=\\sum\_\{i=1\}^\{n\} a\_\{1 i\} b\_\{i 1\}+\\sum\_\{i=1\}^\{n\} a\_\{2 i\} b\_\{i 2\}+\\ldots+\\sum\_\{i=1\}^\{n\} a\_\{m i\} b\_\{i m\}=\\sum\_\{i=1\}^\{m\} \\sum\_\{j=1\}^\{n\} a\_\{i j\} b\_\{j i\} \\tag\{5\} \\end\{aligned\} tr(AB)=i=1∑na1ibi1\+i=1∑na2ibi2\+…\+i=1∑namibim=i=1∑mj=1∑naijbji(5)  tr ⁡ ( B A ) = ∑ j = 1 m b 1 j a j 1 + ∑ j = 1 m b 2 j a j 2 + … + ∑ j = 1 m b n j a j n = ∑ i = 1 m ∑ j = 1 n a i j b j i (6) \\begin\{aligned\} &\\operatorname\{tr\}\\mathbf\{(BA)\}=\\sum\_\{j=1\}^\{m\} b\_\{1 j\} a\_\{j 1\}+\\sum\_\{j=1\}^\{m\} b\_\{2 j\} a\_\{j 2\}+\\ldots+\\sum\_\{j=1\}^\{m\} b\_\{n j\} a\_\{j n\}=\\sum\_\{i=1\}^\{m\} \\sum\_\{j=1\}^\{n\} a\_\{i j\} b\_\{j i\} \\tag\{6\} \\end\{aligned\} tr(BA)=j=1∑mb1jaj1\+j=1∑mb2jaj2\+…\+j=1∑mbnjajn=i=1∑mj=1∑naijbji(6)
>  *   因此可以得到  tr ⁡ ( A B ) = tr ⁡ ( B A ) \\operatorname\{tr\}(\\mathbf \{AB\})=\\operatorname\{tr\}(\\mathbf \{BA\}) tr(AB)=tr(BA)。

>  *  **定理2：**  
>      tr ⁡ ( A B C ) = tr ⁡ ( C A B ) = tr ⁡ ( B C A ) (7) \\operatorname\{tr\}(\\mathbf \{ABC\})=\\operatorname\{tr\}(\\mathbf \{CAB\})=\\operatorname\{tr\}(\\mathbf \{BCA\})\\tag\{7\} tr(ABC)=tr(CAB)=tr(BCA)(7)
>  *  **证明如下：** 可以将  A B \\mathbf \{AB\} AB 或者  B C \\mathbf \{BC\} BC 当成一个整体，这样由`定理1`可以知道成立。

>  *  **定理3：** ∂ tr ⁡ ( A B ) ∂ A = ∂ tr ⁡ ( B A ) ∂ A = B ⊤ (8) \\frac\{\\partial \\operatorname\{tr\}\\mathbf\{(AB)\}\}\{\\partial \\mathbf A\}=\\frac\{\\partial \\operatorname\{tr\}\\mathbf\{(BA)\}\}\{\\partial \\mathbf A\}=\\mathbf B^\{\\top\}\\tag\{8\} ∂A∂tr(AB)=∂A∂tr(BA)=B⊤(8)
>  *   其中  A \\mathbf A A 是  m × n m\\times n m×n 的矩阵，  B \\mathbf B B 是  n × m n\\times m n×m 的矩阵。
>  *  **证明如下：**   
>      tr ⁡ ( A B ) = tr ⁡ ( a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ) ( b 11 b 12 ⋯ b 1 m b 21 b 22 ⋯ b 2 m ⋮ ⋮ ⋱ ⋮ b n 1 b n 2 ⋯ b n m ) (9) \\operatorname\{tr\}\\mathbf\{(AB)\}=\\operatorname\{tr\}\\left(\\begin\{array\}\{cccc\} a\_\{11\} & a\_\{12\} & \\cdots & a\_\{1 n\} \\\\ a\_\{21\} & a\_\{22\} & \\cdots & a\_\{2 n\} \\\\ \\vdots & \\vdots & \\ddots & \\vdots \\\\ a\_\{m 1\} & a\_\{m 2\} & \\cdots & a\_\{m n\} \\end\{array\}\\right)\\left(\\begin\{array\}\{cccc\} b\_\{11\} & b\_\{12\} & \\cdots & b\_\{1 m\} \\\\ b\_\{21\} & b\_\{22\} & \\cdots & b\_\{2 m\} \\\\ \\vdots & \\vdots & \\ddots & \\vdots \\\\ b\_\{n 1\} & b\_\{n 2\} & \\cdots & b\_\{n m\}\\tag\{9\} \\end\{array\}\\right) tr(AB)=tr⎝⎜⎜⎜⎛a11a21⋮am1a12a22⋮am2⋯⋯⋱⋯a1na2n⋮amn⎠⎟⎟⎟⎞⎝⎜⎜⎜⎛b11b21⋮bn1b12b22⋮bn2⋯⋯⋱⋯b1mb2m⋮bnm⎠⎟⎟⎟⎞(9)
>  *   只考虑主对角上的元素，那么有：  
>      tr ⁡ ( A B ) = ∑ i = 1 n a 1 i b i 1 + ∑ i = 1 n a 2 i b i 2 + … + ∑ i = 1 n a m i b i m = ∑ i = 1 m ∑ j = 1 n a i j b j i (10) \\begin\{aligned\} &\\operatorname\{tr\}\\mathbf\{(AB)\}=\\sum\_\{i=1\}^\{n\} a\_\{1 i\} b\_\{i 1\}+\\sum\_\{i=1\}^\{n\} a\_\{2 i\} b\_\{i 2\}+\\ldots+\\sum\_\{i=1\}^\{n\} a\_\{m i\} b\_\{i m\}=\\sum\_\{i=1\}^\{m\} \\sum\_\{j=1\}^\{n\} a\_\{i j\} b\_\{j i\} \\tag\{10\} \\end\{aligned\} tr(AB)=i=1∑na1ibi1\+i=1∑na2ibi2\+…\+i=1∑namibim=i=1∑mj=1∑naijbji(10)  ∂ tr ⁡ ( A B ) ∂ a i j = b j i ⇒ ∂ tr ⁡ ( A B ) ∂ A = B ⊤ (11) \\begin\{aligned\} &\\frac\{\\partial \\operatorname\{tr\}\\mathbf\{(AB)\}\}\{\\partial a\_\{i j\}\}=b\_\{j i\} \\Rightarrow \\frac\{\\partial \\operatorname\{tr\}\\mathbf\{(AB)\}\}\{\\partial \\mathbf A\}=\\mathbf\{B\}^\{\\top\}\\tag\{11\} \\end\{aligned\} ∂aij∂tr(AB)=bji⇒∂A∂tr(AB)=B⊤(11)

>  *  **定理4：**  
>      ∂ tr ⁡ ( A ⊤ B ) ∂ A = ∂ tr ⁡ ( B ⊤ A ) ∂ A = B (12) \\frac\{\\partial \\operatorname\{tr\}\\mathbf\{(A^\{\\top\}B)\}\}\{\\partial \\mathbf A\}=\\frac\{\\partial \\operatorname\{tr\}\\mathbf\{(B^\{\\top\}A)\}\}\{\\partial \\mathbf A\}=\\mathbf B\\tag\{12\} ∂A∂tr(A⊤B)=∂A∂tr(B⊤A)=B(12)
>  *  **证明如下：** 证明步骤和`定理3`是一样的。

>  *  **定理5：**  
>      tr ⁡ ( A ⊤ ) = tr ⁡ ( A ) (13) \\operatorname\{tr\}(\\mathbf \{A^\{\\top\}\})=\\operatorname\{tr\}(\\mathbf \{A\})\\tag\{13\} tr(A⊤)=tr(A)(13)
>  *  **证明如下：** 非常简单，这里忽略。

>  *  **定理6：** 如果  a ∈ R a \\in \\mathbb\{R\} a∈R，那么  tr ⁡ ( a ) = a \\operatorname\{tr\}(a)=a tr(a)=a。
>  *  **证明如下：** 当做  1 × 1 1\\times 1 1×1 的矩阵即可。

>  *  **定理7：** ∂ tr ⁡ ( A B A ⊤ C ) ∂ A = C A B + C ⊤ A B ⊤ (14) \\frac\{\\partial \\operatorname\{tr\}\\mathbf\{(ABA^\{\\top\}C)\}\}\{\\partial \\mathbf A\}=\\mathbf \{CAB\} +\\mathbf \{C^\{\\top\}AB^\{\\top\}\} \\tag\{14\} ∂A∂tr(ABA⊤C)=CAB\+C⊤AB⊤(14)
>  *  **注意：** 首先这里需要借鉴了如下的方法：  
>      ∂ ( x 2 ) ∂ x = ∂ ( x × x ) ∂ x = ∂ ( x 前 × x 后 ) ∂ x = x 后 × ∂ x 前 ∂ x + x 前 × ∂ x 后 ∂ x (15) \\begin\{aligned\} \\frac\{\\partial (x^2)\}\{\\partial x\} =\\frac\{\\partial (x \\times x)\}\{\\partial x\}=\\frac\{\\partial (x\_前 \\times x\_后)\}\{\\partial x\}= x\_后 \\times \\frac\{\\partial x\_前\} \{\\partial x\} +x\_前 \\times \\frac\{\\partial x\_后\} \{\\partial x\} \\tag\{15\} \\end\{aligned\} ∂x∂(x2)=∂x∂(x×x)=∂x∂(x前×x后)=x后×∂x∂x前\+x前×∂x∂x后(15)
>  *  **证明如下：** 分步求导可以得到如下表达式：  
>      ∂ tr ⁡ ( A B A ⊤ C ) ∂ A = ∂ tr ⁡ ( A 常 ⊤ C A B ) ∂ A + ∂ tr ⁡ ( A 常 B A ⊤ C ) ∂ A = C A B + C ⊤ A B ⊤ (16) \\begin\{aligned\} \\frac\{\\partial \\operatorname\{tr\}\\mathbf\{(ABA^\{\\top\}C)\}\}\{\\partial \\mathbf A\} &= \\frac\{\\partial \\operatorname\{tr\}\\left(\\mathbf \{A\}^\{\\top\}\_常 \\mathbf \{CAB\}\\right)\}\{\\partial \\mathbf A\}+\\frac\{\\partial \\operatorname\{tr\}(\\mathbf \{A\}\_常 \\mathbf \{B A\}^\{\\top\} \\mathbf C)\}\{\\partial \\mathbf A\} \\\\ &= \\mathbf \{C A B\}+\\mathbf C^\{\\top\} \\mathbf A \\mathbf B^\{\\top\}\\tag\{16\} \\end\{aligned\} ∂A∂tr(ABA⊤C)=∂A∂tr(A常⊤CAB)\+∂A∂tr(A常BA⊤C)=CAB\+C⊤AB⊤(16)
>  *  **Tips：求导的过程中，注意矩阵维度的变化，要记得维度保持正确。**

# 二. 最小二乘法 #

>  *  最小二乘法是用来做**函数拟合或者求函数极值**的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。

## 2.1. 求解介绍 ##

>  *   有了上述**7个定理**，就可以来求**最小二乘解**了。设：  
>      x ( i ) = ( x 0 ( i ) x 1 ( i ) ⋮ x n ( i ) ) θ = ( θ 0 θ 1 ⋮ θ n ) X = ( ( x ( 1 ) ) ⊤ ( x ( 2 ) ) ⊤ ⋮ ( x ( m ) ) ⊤ ) Y = ( y ( 1 ) y ( 2 ) ⋮ y ( m ) ) (17) \\mathbf x^\{(i)\}=\\left(\\begin\{array\}\{c\} x\_\{0\}^\{(i)\} \\\\ x\_\{1\}^\{(i)\} \\\\ \\vdots \\\\ x\_\{n\}^\{(i)\} \\end\{array\}\\right) \\quad \\bm \{\\theta\}=\\left(\\begin\{array\}\{c\} \\theta\_\{0\} \\\\ \\theta\_\{1\} \\\\ \\vdots \\\\ \\theta\_\{n\} \\end\{array\}\\right) \\quad \\mathbf X=\\left(\\begin\{array\}\{c\} \\left(\\mathbf x^\{(1)\}\\right)^\{\\top\} \\\\ \\left(\\mathbf x^\{(2)\}\\right)^\{\\top\} \\\\ \\vdots \\\\ \\left(\\mathbf x^\{(m)\}\\right)^\{\\top\} \\end\{array\}\\right) \\quad \\mathbf Y=\\left(\\begin\{array\}\{c\} y^\{(1)\} \\\\ y^\{(2)\} \\\\ \\vdots \\\\ y^\{(m)\}\\tag\{17\} \\end\{array\}\\right) x(i)=⎝⎜⎜⎜⎜⎛x0(i)x1(i)⋮xn(i)⎠⎟⎟⎟⎟⎞θ=⎝⎜⎜⎜⎛θ0θ1⋮θn⎠⎟⎟⎟⎞X=⎝⎜⎜⎜⎜⎛(x(1))⊤(x(2))⊤⋮(x(m))⊤⎠⎟⎟⎟⎟⎞Y=⎝⎜⎜⎜⎛y(1)y(2)⋮y(m)⎠⎟⎟⎟⎞(17)
>  *   进一步可以得到：  
>      X θ − Y = ( ( x ( 1 ) ) ⊤ θ − y ( 1 ) ( x ( 2 ) ) ⊤ θ − y ( 2 ) ⋮ ( x ( m ) ) ⊤ θ − y ( m ) ) = ( h θ ( x ( 1 ) ) − y ( 1 ) h θ ( x ( 2 ) ) − y ( 2 ) ⋮ h θ ( x ( m ) ) − y ( m ) ) (18) \\mathbf X \\bm \\theta-\\mathbf Y=\\left(\\begin\{array\}\{c\} \\left(\\mathbf x^\{(1)\}\\right)^\{\\top\} \\bm \\theta-y^\{(1)\} \\\\ \\left(\\mathbf x^\{(2)\}\\right)^\{\\top\} \\bm \\theta-y^\{(2)\} \\\\ \\vdots \\\\ \\left(\\mathbf x^\{(m)\}\\right)^\{\\top\} \\bm \\theta-y^\{(m)\} \\end\{array\}\\right)=\\left(\\begin\{array\}\{c\} h\_\{\\bm \\theta\}\\left(x^\{(1)\}\\right)-y^\{(1)\} \\\\ h\_\{\\bm \\theta\}\\left(x^\{(2)\}\\right)-y^\{(2)\} \\\\ \\vdots \\\\ h\_\{\\bm \\theta\}\\left(x^\{(m)\}\\right)-y^\{(m)\}\\tag\{18\} \\end\{array\}\\right) Xθ−Y=⎝⎜⎜⎜⎜⎛(x(1))⊤θ−y(1)(x(2))⊤θ−y(2)⋮(x(m))⊤θ−y(m)⎠⎟⎟⎟⎟⎞=⎝⎜⎜⎜⎛hθ(x(1))−y(1)hθ(x(2))−y(2)⋮hθ(x(m))−y(m)⎠⎟⎟⎟⎞(18)
>  *  接下来对矩阵求导，因为：  
>      J ( θ ) = 1 2 ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 = 1 2 tr \[ ( X θ − Y ) ⊤ ( X θ − Y ) \] (19) J(\\bm \\theta)=\\frac\{1\}\{2\} \\sum\_\{i=1\}^\{m\}\\left(h\_\{\\bm \\theta\}\\left(x^\{(i)\}\\right)-y^\{(i)\}\\right)^\{2\}=\\frac\{1\}\{2\} \\text\{tr\}\\left\[(\\mathbf X \\bm \\theta-\\mathbf Y)^\{\\top\}(\\mathbf X \\bm \\theta-\\mathbf Y)\\right\]\\tag\{19\} J(θ)=21i=1∑m(hθ(x(i))−y(i))2=21tr\[(Xθ−Y)⊤(Xθ−Y)\](19)
>  *  **注意：** 上面加迹可以看做是为了求导方便，利用了`定理5`。
>  *  进一步利用矩阵求导，并利用上述的定理，可以得到：  
>      ∂ J ( θ ) ∂ θ = 1 2 ⋅ ∂ tr ⁡ ( θ ⊤ X ⊤ X θ − θ ⊤ X ⊤ Y − Y ⊤ X θ + Y ⊤ Y ) ∂ θ = 1 2 ⋅ \[ ∂ tr ⁡ ( θ I θ ⊤ X ⊤ X ) ∂ θ − ∂ tr ⁡ ( θ ⊤ X ⊤ Y ) ∂ θ − ∂ t r ( Y ⊤ X θ ) ∂ θ \] = 1 2 ⋅ \[ X ⊤ X θ I + ( X ⊤ X ) ⊤ θ I ⊤ − X ⊤ Y − ( Y ⊤ X ) ⊤ \] = X ⊤ X θ − X ⊤ Y (20) \\begin\{aligned\} \\frac\{\\partial J(\\bm \\theta)\}\{\\partial \\bm \\theta\} &=\\frac\{1\}\{2\} \\cdot \\frac\{\\partial \\operatorname\{tr\}\\left(\\bm \\theta^\{\\top\} \\mathbf X^\{\\top\} \\mathbf X \\bm \\theta-\\bm \\theta^\{\\top\} \\mathbf X^\{\\top\} \\mathbf Y-\\mathbf Y^\{\\top\} \\mathbf X \\bm \\theta+\\mathbf Y^\{\\top\} \\mathbf Y\\right)\}\{\\partial \\bm \\theta\} \\\\ &=\\frac\{1\}\{2\} \\cdot\\left\[\\frac\{\\partial \\operatorname\{tr\}\\left(\\bm \\theta \\mathbf I \\bm \\theta^\{\\top\} \\mathbf X^\{\\top\} \\mathbf X\\right)\}\{\\partial \\bm \\theta\}-\\frac\{\\partial \\operatorname\{tr\}\\left(\\bm \\theta^\{\\top\} \\mathbf X^\{\\top\} \\mathbf Y\\right)\}\{\\partial \\bm \\theta\}-\\frac\{\\partial t r\\left(\\mathbf Y^\{\\top\} \\mathbf X \\bm \\theta\\right)\}\{\\partial \\bm \\theta\}\\right\] \\\\ &=\\frac\{1\}\{2\} \\cdot\\left\[\\mathbf X^\{\\top\} \\mathbf X \\bm \\theta \\mathbf I+\\left(\\mathbf X^\{\\top\} \\mathbf X\\right)^\{\\top\} \\bm \\theta \\mathbf I^\{\\top\}-\\mathbf X^\{\\top\} \\mathbf Y-\\left(\\mathbf Y^\{\\top\} \\mathbf X\\right)^\{\\top\}\\right\] \\\\ &=\\mathbf X^\{\\top\} \\mathbf X \\bm \\theta-\\mathbf X^\{\\top\} \\mathbf Y\\tag\{20\} \\end\{aligned\} ∂θ∂J(θ)=21⋅∂θ∂tr(θ⊤X⊤Xθ−θ⊤X⊤Y−Y⊤Xθ\+Y⊤Y)=21⋅⎣⎡∂θ∂tr(θIθ⊤X⊤X)−∂θ∂tr(θ⊤X⊤Y)−∂θ∂tr(Y⊤Xθ)⎦⎤=21⋅\[X⊤XθI\+(X⊤X)⊤θI⊤−X⊤Y−(Y⊤X)⊤\]=X⊤Xθ−X⊤Y(20)
>  *  然后我们利用极值点处的`梯度为0`，即可得到：  
>      ∂ J ( θ ) ∂ θ = X ⊤ X θ − X ⊤ Y = 0 (21) \\frac\{\\partial J(\\bm \\theta)\}\{\\partial \\bm \\theta\}=\\mathbf X^\{\\top\} \\mathbf X \\bm \\theta-\\mathbf X^\{\\top\} \\mathbf Y\\tag\{21\}=\\bf 0 ∂θ∂J(θ)=X⊤Xθ−X⊤Y=0(21)
>  *  上述的方程组叫做正规方程组，那么最终得到如下，这样最小二乘问题只需要解决一个线性方程组即可，不需要再像梯度下降法那样迭代了。  
>      θ = ( X ⊤ X ) − 1 X ⊤ Y (22) \\bm \\theta=\\left(\\mathbf X^\{\\top\} \\mathbf X\\right)^\{-1\}\\mathbf X^\{\\top\} \\mathbf Y\\tag\{22\} θ=(X⊤X)−1X⊤Y(22)

>  *  说到了正规方程组，再介绍一种方程组，叫做**超定方程组**，它的定义为：**把方程个数大于未知量个数的方程组叫做超定方程组**。
>  *  通常来说，对于一个超定方程组  X θ = Y \\mathbf X \\bm \\theta=\\mathbf Y Xθ=Y 来说，求最小二乘解只需要两边同时乘  X \\mathbf X X 的转置，然后得到正规方程组  X ⊤ X θ = X ⊤ Y \\mathbf X^\{\\top\} \\mathbf X \\bm \\theta=\\mathbf X^\{\\top\}\\mathbf Y X⊤Xθ=X⊤Y ，然后解这个方程就得到了最小二乘解。

## 2.2. 另一角度 ##

>  *   最小二乘法的矩阵解法：  
>      x = ( x 1 , x 2 , ⋯   , x n ) ⊤ , Y = ( y 1 , y 2 , ⋯   , y n ) ⊤ , E = ( 1 , 1 , ⋯   , 1 ) ⊤ (23) \\mathbf\{x\}=\\left(x\_\{1\}, x\_\{2\}, \\cdots, x\_\{n\}\\right)^\{\\top\}, \\mathbf\{Y\}=\\left(y\_\{1\}, y\_\{2\}, \\cdots, y\_\{n\}\\right)^\{\\top\}, \\mathbf\{E\}=(1,1, \\cdots, 1)^\{\\mathrm\{\\top\}\}\\tag\{23\} x=(x1,x2,⋯,xn)⊤,Y=(y1,y2,⋯,yn)⊤,E=(1,1,⋯,1)⊤(23)
>  *  **则线性模型可以表示为：**  
>      Y = a x + b E (24) \\mathbf\{Y\}= a\\mathbf x +b \\mathbf E\\tag\{24\} Y=ax\+bE(24)
>  *  **进一步令(重组的一个向量)：**  
>      X = \[ x , E \] , θ = ( a , b ) ⊤ (25) \\mathbf\{X\}=\[\\mathbf\{x\}, \\mathbf\{E\}\], \\quad \\bm \\theta=(\\mathrm\{a\}, \\mathrm\{b\})^\{\\mathrm\{\\top\}\}\\tag\{25\} X=\[x,E\],θ=(a,b)⊤(25)
>  *  **则模型可以进一步表示为如下：**  
>      Y = X θ (26) \\mathbf\{Y\}=\\bf X\\bm \\theta\\tag\{26\} Y=Xθ(26)
>  *  **优化模型可以转化为(下面结果为一个数字)：**  
>      min ⁡ θ f ( θ ) = ∥ X θ − Y ∥ 2 (27) \\min \_\{\\bm \\theta\} f(\\bm \\theta)=\\|\\mathbf\{X\} \\bm \\theta-\\mathbf\{Y\}\\|^\{2\}\\tag\{27\} θminf(θ)=∥Xθ−Y∥2(27)
>  *  **可以展开为：**  
>      ∥ X θ − Y ∥ 2 = ( X θ − Y ) ⊤ ( X θ − Y ) = θ ⊤ X ⊤ X θ − Y T X θ − θ ⊤ X ⊤ Y + Y ⊤ Y (28) \\begin\{aligned\} \\|\\mathbf\{X\} \\bm \\theta-\\mathbf\{Y\}\\|^\{2\} &=(\\mathbf\{X\} \\bm \\theta-\\mathbf\{Y\})^\{\\top\}(\\mathbf\{X\} \\bm \\theta-\\mathbf\{Y\}) \\\\ =& \\bm \\theta^\{\\top\} \\mathbf\{X\}^\{\\top\} \\mathbf\{X\} \\bm \\theta-\\mathbf\{Y\}^\{T\} \\mathbf\{X\} \\bm \\theta-\\bm \\theta^\{\\top\} \\mathbf\{X\}^\{\\top\} \\mathbf\{Y\}+\\mathbf\{Y\}^\{\\top\} \\mathbf\{Y\}\\tag\{28\} \\end\{aligned\} ∥Xθ−Y∥2==(Xθ−Y)⊤(Xθ−Y)θ⊤X⊤Xθ−YTXθ−θ⊤X⊤Y\+Y⊤Y(28)
>  *  **因此有：**  
>      ∂ ( ∥ X θ − Y ∥ 2 ) ∂ θ = 2 X ⊤ X θ − 2 X ⊤ Y (29) \\frac\{\\partial\\left(\\|\\mathbf\{X\} \\bm \\theta-\\mathbf\{Y\}\\|^\{2\}\\right)\}\{\\partial \\bm \\theta\}=2 \\mathbf\{X\}^\{\\top\} \\mathbf\{X\}\\bm \\theta-2 \\mathbf\{X\}^\{\\top\} \\mathbf\{Y\}\\tag\{29\} ∂θ∂(∥Xθ−Y∥2)=2X⊤Xθ−2X⊤Y(29)
>  *  **最终可以得到如下：**  
>      θ = ( X ⊤ X ) − 1 X ⊤ Y (30) \\bm \\theta=\\left(\\mathbf X^\{\\top\} \\mathbf X\\right)^\{-1\}\\mathbf X^\{\\top\} \\mathbf Y\\tag\{30\} θ=(X⊤X)−1X⊤Y(30)
>  *  针对线性回归来讲，直接利用最小二乘，没有考虑参数正则化，可能会产生过拟合。可以对参数x正则化处理，一范式正则化为lasso，二范式正则化为岭回归。
>  *  这里参考一下中科院老师的PPT：[矩阵简介与最小二乘法！  
>     ][Link 1]

## 2.3. 最先二乘法的局限性 ##

>  *  **从上面可以看出，最小二乘法适用简洁高效，比梯度下降这样的迭代法似乎方便很多。但是这里我们就聊聊最小二乘法的局限性。**
>  *  第一，如果  ( X ⊤ X θ ) \\left(\\mathbf X^\{\\top\} \\mathbf X \\bm \\theta\\right) (X⊤Xθ) 矩阵的逆矩阵不存在，则无法利用最小二乘法，此时可利用梯度下降法。当然，我们可以通过对样本数据进行整理，去掉冗余特征。让  ( X ⊤ X θ ) \\left(\\mathbf X^\{\\top\} \\mathbf X \\bm \\theta\\right) (X⊤Xθ) 的行列式不为0，然后继续使用最小二乘法。
>  *  第二，当特征维度  n n n 非常大时，计算  ( X ⊤ X θ ) \\left(\\mathbf X^\{\\top\} \\mathbf X \\bm \\theta\\right) (X⊤Xθ) 矩阵的逆矩阵非常耗时( n × n n\\times n n×n 的矩阵求逆)。甚至不可行。此时以梯度下降为代表的迭代法仍然可以使用。那这个  n n n 到底多大就不适合最小二乘法呢？如果你没有很多的分布式大数据计算资源，建议超过  10000 10000 10000 个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。
>  *  第三，如果拟合函数不是线性的，这时无法使用最小二乘法，需要通过一些技巧转化为线性才能使用，此时梯度下降仍然可以用。
>  *  第四，讲一些特殊情况。当样本量m很少，小于特征数n的时候，这时拟合方程是欠定的，常用的优化方法都无法去拟合数据。当样本量m等于特征数n的时候，用方程组求解就可以了。当m大于n时，拟合方程是超定的，也就是我们常用与最小二乘法的场景了。

## 2.3. 最小二乘法例子1 ##

>  *  对于一元线性回归模型, 假设从总体中获取了  n n n 组观察值 ( x 1 ， y 1 ) ， ( x 2 ， y 2 ) ， … ， ( x n ， y n ) (x\_1，y\_1)，(x\_2，y\_2)， …，(x\_n，y\_n) (x1，y1)，(x2，y2)，…，(xn，yn)，对于平面中的这  n n n 个点，可以使用无数条曲线来拟合。而线性回归就是要求样本回归函数尽可能好地拟合这组值，也就是说，这条直线应该尽可能的处于样本数据的中心位置。因此，选择最佳拟合曲线的标准可以确定为：使总的拟合误差(即总残差)达到最小。

# !/usr/bin/env python
    # -*- encoding: utf-8 -*-
    """=====================================
    @author : kaifang zhang
    @time   : 2021/7/23 3:37 下午
    @contact: kaifang.zkf@dtwave-inc.com
    ====================================="""
    
    ##最小二乘法
    import numpy as np  ##科学计算库
    import matplotlib.pyplot as plt  ##绘图库
    from scipy.optimize import leastsq  ##引入最小二乘法算法
    
    ## 1、样本数据(X,Y)，需要转换成数组(列表)形式
    x = np.array([6.19, 2.51, 7.29, 7.01, 5.7, 2.66, 3.98, 2.5, 9.1, 4.2])
    y = np.array([5.25, 2.83, 6.41, 6.71, 5.1, 4.23, 5.05, 1.98, 10.5, 6.3])
    # print(Xi.shape, Yi.shape)
    
    e = np.ones(len(x))
    
    A = np.hstack((x.reshape(-1, 1), e.reshape(-1, 1)))
    Y = np.reshape(y, (-1, 1))
    
    # ## 2、求解系数
    w = np.matmul(np.transpose(A), A)  # w = A^T*A
    w1 = np.linalg.inv(w)  # 矩阵求逆
    w2 = np.matmul(w1, np.transpose(A))
    solution = np.matmul(w2, Y)
    print(solution)
    
    ## 3、 画样本点
    plt.figure(figsize=(8, 6))  # 指定图像比例： 8：6
    plt.scatter(x, y, color="blue", label="date(Xi,Yi)", linewidth=2)
    
    ## 4、画拟合直线
    x1 = np.linspace(0, 12, 100)  # 在0-15直接画100个连续点
    y1 = solution[0][0] * x1 + solution[1][0]  # 函数式
    plt.plot(x1, y1, color="red", label="Fitted line", linewidth=2)
    plt.xlim(0, None)
    plt.ylim(0, None)
    plt.legend(loc='lower right')  # 绘制图例
    plt.show()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw_size_16_color_FFFFFF_t_70_pic_center][]

## 2.4. 最小二乘法例子2 ##

>  *   房价预测的例子，数据集链接: [https://pan.baidu.com/s/1sAGrTio9VJfLqh4ccMX2tg][https_pan.baidu.com_s_1sAGrTio9VJfLqh4ccMX2tg] 密码: r9nq

# !/usr/bin/env python
    # -*- encoding: utf-8 -*-
    """
    @author: kaifang zhang
    @time: 2021/06/23
    @contact: 1115291605@qq.com
    """
    import numpy as np
    import matplotlib as mpl
    import matplotlib.pyplot as plt
    from mpl_toolkits.mplot3d import Axes3D
    
    
    def main():
        # 前2列分别是：住宅平均房间数量，区域中被认为是低收入阶层的比率
        data = np.genfromtxt("./data.csv", delimiter=",")            # 加载数据集，以,分割。
        A, Y = data[:,:2], data[:,2]/10000                           # 这里是为了防止数据太大，坐标轴无法显示。
        print(A.shape, Y.shape)
        ## 可视化显示
        fig = plt.figure()
        ax = fig.gca(projection='3d')
        ax.scatter(A[:,0], A[:,1], Y, s=5, c='r', depthshade=True)
        ax.set_xlabel('x1')
        ax.set_ylabel('x2')
        ax.set_zlabel('price(*10000)')
        ## 求解系数
        tep = np.linalg.inv(np.dot(np.transpose(A), A))
        solution = np.dot(tep, np.transpose(A)).dot(Y)
        print(solution)
    
        x1 = np.linspace(1, 12, 12)
        x2 = np.linspace(1, 40, 40)
    
        x, y = np.meshgrid(x1, x2)
        z = solution[0] * x + solution[1] * y
        surf = ax.plot_surface(x, y, z)
        plt.show()
    
    
    if __name__ == '__main__':
        main()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw_size_16_color_FFFFFF_t_70][]

# 三. 参考文献 #

>  *   文章参考以下文献，这里表示感谢！
>  *  [最小二乘法小结][Link 2]
>  *  [最小二乘法及矩阵求导][Link 3]
>  *  [SciPy最小二乘法][SciPy]
>  *  [最小二乘法(一般形式和矩阵形式)][Link 4]
>  *  [Numpy 中的矩阵向量乘法][Numpy]
>  *  [Python的NumPy库中dot()函数详解][Python_NumPy_dot]
>  *  [http://cs231n.stanford.edu/vecDerivs.pdf][http_cs231n.stanford.edu_vecDerivs.pdf]
>  *  [http://cs229.stanford.edu/section/cs229-linalg.pdf][http_cs229.stanford.edu_section_cs229-linalg.pdf]
>  *  [http://www2.imm.dtu.dk/pubdb/edoc/imm3274.pdf][http_www2.imm.dtu.dk_pubdb_edoc_imm3274.pdf]
>  *  [http://cs229.stanford.edu/section/cs229-prob.pdf][http_cs229.stanford.edu_section_cs229-prob.pdf]
>  *  [机器学习中的矩阵/向量求导][Link 5]
>  *  [矩阵求导公式(引自维基百科)][Link 6]

[Link 1]: https://wenku.baidu.com/view/f9687a1986c24028915f804d2b160b4e777f8140.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw_size_16_color_FFFFFF_t_70_pic_center]: /images/20221021/0b618ec7586c4fcd9608d0ed853a1033.png
[https_pan.baidu.com_s_1sAGrTio9VJfLqh4ccMX2tg]: https://pan.baidu.com/s/1sAGrTio9VJfLqh4ccMX2tg
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw_size_16_color_FFFFFF_t_70]: /images/20221021/914c28aa88d3407f887326376230e9fd.png
[Link 2]: https://www.cnblogs.com/pinard/p/5976811.html
[Link 3]: https://www.jianshu.com/p/edaf949bcaeb
[SciPy]: https://www.cnblogs.com/Yanjy-OnlyOne/p/11190044.html
[Link 4]: https://blog.csdn.net/sunshine_in_moon/article/details/45797343
[Numpy]: https://blog.csdn.net/itnerd/article/details/83444867
[Python_NumPy_dot]: https://www.cnblogs.com/my-global/articles/12682430.html
[http_cs231n.stanford.edu_vecDerivs.pdf]: http://cs231n.stanford.edu/vecDerivs.pdf
[http_cs229.stanford.edu_section_cs229-linalg.pdf]: http://cs229.stanford.edu/section/cs229-linalg.pdf
[http_www2.imm.dtu.dk_pubdb_edoc_imm3274.pdf]: http://www2.imm.dtu.dk/pubdb/edoc/imm3274.pdf
[http_cs229.stanford.edu_section_cs229-prob.pdf]: http://cs229.stanford.edu/section/cs229-prob.pdf
[Link 5]: https://zhuanlan.zhihu.com/p/25063314
[Link 6]: https://blog.csdn.net/weixin_44684139/article/details/109676877