矩阵求导公式

「爱情、让人受尽委屈。」 2022-05-18 00:17 219阅读 0赞

基本公式：  
Y = A \* X --> DY/DX = A'  
Y = X \* A --> DY/DX = A  
Y = A' \* X \* B --> DY/DX = A \* B'  
Y = A' \* X' \* B --> DY/DX = B \* A'

1. 矩阵Y对标量x求导：

相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了

Y = \[y(ij)\] --> dY/dx = \[dy(ji)/dx\]

2. 标量y对列向量X求导：

注意与上面不同，这次括号内是求偏导，不转置，对N×1向量求导后还是N×1向量

y = f(x1,x2,..,xn) --> dy/dX = (Dy/Dx1,Dy/Dx2,..,Dy/Dxn)'

3. 行向量Y'对列向量X求导：

注意1×M向量对N×1向量求导后是N×M矩阵。

将Y的每一列对X求偏导，将各列构成一个矩阵。

重要结论：

dX'/dX = I

d(AX)'/dX = A'

4. 列向量Y对行向量X’求导：

转化为行向量Y’对列向量X的导数，然后转置。

注意M×1向量对1×N向量求导结果为M×N矩阵。

dY/dX' = (dY'/dX)'

5. 向量积对列向量X求导运算法则：

注意与标量求导有点不同。

d(UV')/dX = (dU/dX)V' + U(dV'/dX)

d(U'V)/dX = (dU'/dX)V + (dV'/dX)U'

重要结论：

d(X'A)/dX = (dX'/dX)A + (dA/dX)X' = IA + 0X' = A

d(AX)/dX' = (d(X'A')/dX)' = (A')' = A

d(X'AX)/dX = (dX'/dX)AX + (d(AX)'/dX)X = AX + A'X

6. 矩阵Y对列向量X求导：

将Y对X的每一个分量求偏导，构成一个超向量。

注意该向量的每一个元素都是一个矩阵。

7. 矩阵积对列向量求导法则：

d(uV)/dX = (du/dX)V + u(dV/dX)

d(UV)/dX = (dU/dX)V + U(dV/dX)

重要结论：

d(X'A)/dX = (dX'/dX)A + X'(dA/dX) = IA + X'0 = A

8. 标量y对矩阵X的导数：

类似标量y对列向量X的导数，

把y对每个X的元素求偏导，不用转置。

dy/dX = \[ Dy/Dx(ij) \]

重要结论：

y = U'XV = ΣΣu(i)x(ij)v(j) 于是 dy/dX = \[u(i)v(j)\] = UV'

y = U'X'XU 则 dy/dX = 2XUU'

y = (XU-V)'(XU-V) 则 dy/dX = d(U'X'XU - 2V'XU + V'V)/dX = 2XUU' - 2VU' + 0 = 2(XU-V)U'

9. 矩阵Y对矩阵X的导数：

将Y的每个元素对X求导，

发表评论取消回复

表情：

评论列表（有 0 条评论，219人围观）

还没有评论，来说两句吧...

相关阅读

相关基本求导法则与求导公式

一概述 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0

╰半橙微兮°/ 2022年12月13日 04:54/ 0 赞/ 200 阅读

相关矩阵求导、几种重要的矩阵及常用的矩阵求导公式

一、矩阵求导一般来讲，我们约定x=(x1,x2,...xN)Tx=(x1,x2,...xN)T，这是分母布局。常见的矩阵求导方式有：向量对向量求导，标量对向量求导，向量

分手后的思念是犯贱/ 2022年11月21日 15:17/ 0 赞/ 224 阅读

相关微积分-求导必背公式

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FpcXEx

た入场券/ 2022年11月19日 05:28/ 0 赞/ 205 阅读

相关总结机器学习中常用的几个矩阵求导公式

下面A，B，X都是矩阵： ![在这里插入图片描述][20210411213622538.gif_pic_center] ![在这里插入图片描述][20210411213

爱被打了一巴掌/ 2022年11月18日 01:58/ 0 赞/ 189 阅读

相关关于莱布尼茨函数乘积的求导公式

十六世纪中叶，莱布尼茨引入一种“理想数”，性质与实数相同，可以参与实数运算。由此创建了“无穷小研算”（现在叫做微积分）。在“无穷小研算”中，莱布尼茨证明了函数乘积的求导公式

朴灿烈づ我的快乐病毒、/ 2022年09月12日 05:46/ 0 赞/ 178 阅读

相关矩阵论：向量求导/微分和矩阵微分

http://[blog.csdn.net/pipisorry/article/details/68961388][blog.csdn.net_pipisorry_articl

柔情只为你懂/ 2022年06月18日 09:22/ 0 赞/ 207 阅读

相关矩阵的求导

复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。 ![261229094735664.png][] ![261224001048648.p

àì夳堔傛蜴生んèń/ 2022年06月07日 02:36/ 0 赞/ 262 阅读

相关矩阵求导公式

基本公式： Y = A \ X --> DY/DX = A' Y = X \ A --> DY/DX = A Y = A' \ X \ B --> DY/DX =

「爱情、让人受尽委屈。」/ 2022年05月18日 00:17/ 0 赞/ 220 阅读

相关机器学习BP算法及矩阵求导

除了基本导数公式，本文介绍的矩阵求导方法不涉及任何公式的套用。本文以neural network中最常见的一种计算单元为例，详细介绍了BP算法中涉及到的矩阵求导过程。刚接触

超、凢脫俗/ 2022年02月18日 16:45/ 0 赞/ 259 阅读

相关矩阵求导的相关知识

一、矩阵求导一般来讲，我们约定 x = ( x 1 , x 2 , . . . x n ) T x = (x\_\{1\},x\_\{2\},...x\_\{n\})

小咪咪/ 2022年02月02日 03:59/ 0 赞/ 696 阅读