矩阵求导

Matrix Derivation

1. 标量方程对向量求导

对方程组

${\begin{cases} \frac{\partial f (y_{1}, y_{2}, . . ., y_{i})}{\partial y_{1}} = 0 \\ ⋮ \\ \frac{\partial f (y_{1}, y_{2}, . . ., y_{i})}{\partial y_{i}} = 0 \end{cases}$ 令 $\vec{y} = [\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{i} \end{matrix}]$ 对方程组可有简化如下：

$\frac{\partial f (\vec{y})}{\partial \vec{y}} = [\begin{matrix} \frac{\partial f (\vec{y})}{\partial y_{1}} \\ \frac{\partial f (\vec{y})}{\partial y_{2}} \\ ⋮ \\ \frac{\partial f (\vec{y})}{\partial y_{i}} \end{matrix}]$ 此 $i \times 1$ 形式为分母布局（Denominator Layout）

而同样可能存在如下表达方式：

$\frac{\partial f (\vec{y})}{\partial \vec{y}} = [\begin{matrix} \frac{\partial f (\vec{y})}{\partial y_{1}}, \frac{\partial f (\vec{y})}{\partial y_{2}}, \dots, \frac{\partial f (\vec{y})}{\partial y_{i}} \end{matrix}]$ 如此 $1 \times i$ 形式为分子布局（Numerator Layout）

⚠️布局方式要统一，否则会十分混乱

2. 向量方程对向量的导数

对于 $\vec{f} (\vec{y}) = [\begin{matrix} f_{1} (\vec{y}) \\ f_{2} (\vec{y}) \\ ⋮ \\ f_{n} (\vec{y}) \end{matrix}]$

其中 $\vec{y} = [\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{m} \end{matrix}]$

这里采用分母布局， $n \times m$ 的矩阵

对其求导可得

$\frac{\partial \vec{f} (\vec{y})}{\partial \vec{y}} =$

$[\begin{matrix} \frac{\partial f_{1} (\vec{y})}{\partial y_{1}} \frac{\partial f_{2} (\vec{y})}{\partial y_{1}} \dots \frac{\partial f_{n} (\vec{y})}{\partial y_{1}} \\ \frac{\partial f_{1} (\vec{y})}{\partial y_{2}} \\ ⋮ ⋱ ⋮ \\ \frac{\partial f_{1} (\vec{y})}{\partial y_{m}} \dots \frac{\partial f_{n} (\vec{y})}{\partial y_{m}} \end{matrix}]$

当 $n = m$ 时即其为n阶方阵

对于n阶方阵 $A = {[\begin{matrix} a_{i j} \end{matrix}]}_{n \times n}$ 和向量 $\vec{y} = [\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{n} \end{matrix}]$ ，易证如下结论：

$\frac{\partial A \vec{y}}{\vec{y}} = A^{T}$

$\frac{\partial {\vec{y}}^{T} A \vec{y}}{\vec{y}} = A \vec{y} + A^{T} \vec{y}$ 当 $A$ 对称时有 $\frac{\partial {\vec{y}}^{T} A \vec{y}}{\vec{y}} = 2 A \vec{y}$

矩阵求导 ​

1. 标量方程对向量求导 ​

2. 向量方程对向量的导数 ​

矩阵求导

1. 标量方程对向量求导

2. 向量方程对向量的导数