一般逆行列について¶

線型連立方程式における解の種類：逆行列の存在¶

線型連立方程式

$Ax = b$

に対して，解 $x$ を求める手法には，Cramerの公式や余因子や掃出法等，複数存在する．逆行列を求めることにより，

$x = A^{-1} b$

から解を得ることができる． $Ax=b$ と表記される全ての場合で，解が存在する訳ではない．行列 $A$ の形状 ( $m \times n$ )，及び，階数( $rank(A)$ ) によってこれらの振る舞いは変化し，逆行列の存在が左右される．

行列の形状，階数によって，以下の4つに分類される．

行列 $A$ は $m \times m (m=n)$ 正方行列で， $rank(A)=m$ （フルランク）である．
行列 $A$ は $m \times n (m>n)$ 縦長行列で， $rank(A)=m$ （フルランク）である．
行列 $A$ は $m \times n (m<n)$ 横長行列で， $rank(A)=m$ （フルランク）である．
フルランクでない．( 行列 $A$ の階数が $rank(A)<m$ )

これらの解は次のように表現される．

逆行列 $A^{-1}$ を求めることができ，一意に解が決定される．(決定系)
全ての解を無矛盾に満たす解が存在しない．(優決定系・不能)
方程式が不足しているため，解が一意に定まらない(劣決定系・不定)
方程式に重複(矛盾)が存在する．重複を除けば(a),(b),(c)のどれかに帰着する．

../_images/MatrixShapeAndSolutionType1.png

ここでは(a)以外は解を一意に決定できない．これら方程式の解を得る( 存在しないものもあるが，極力合理的に解らしきものを採用する )戦略は次である．

逆行列 $A^{-1}$ を求めて， $b$ にかけ， $x=A^{-1}b$ を求める． ( 決定解 )
全方程式から平均的に近い解(最小二乗解)を求める． ( 最小二乗解 )
全解候補のうち，もっともノルムの小さいものを求める．( 最小ノルム解 )
全方程式からの「二乗誤差最小」でかつ「ノルムがもっとも小さいもの」を選ぶ．((b)と(c)を両方満たす解)

これをイメージとして表すと，

../_images/MatrixShapeAndSolutionType2.png

解はそれぞれ，

逆行列から決定解を得る．

$x=A^{-1}b$

(b) 最小二乗解を得る．条件式は，

$x^* = argmin \dfrac{1}{2} ||Ax-b||^2$

この式は $f(x)=||Ax-b||^2$ とした際の $\partial f(x) / \partial x = 0$ であるから，

$\dfrac{\partial ||Ax-b||^2}{\partial x} = 0 \\ A^{T} A x^* - A^{T} b = 0 \\ x^* = ( A^{T} A )^{-1} A^{T} b$

行列( $A^{T} A$ )は正則なnxn対称行列で， $A^{T} A x = A^{T} b$ は正規方程式と呼ばれる．

(c) 最小ノルム解条件式は，

$x^* = argmin \dfrac{1}{2} ||x||^2 s.t. Ax = bw$

Lagrangeの未定乗数を用いてとけば，

$L = ( \dfrac{1}{2} ||x||^2 ) + \lambda ( Ax = bw )$

$\dfrac{ \partial L }{ \partial x } = x - A^{T} \lambda = 0 \\ \dfrac{ \partial L }{ \partial \lambda } = - A x + b = 0 \\$

$\begin{bmatrix} x^* \\ \lambda \end{bmatrix} = \begin{bmatrix} A^{T} ( A A^{T} )^{-1} b \\ ( A A^{T} )^{-1} b \end{bmatrix}$

A = BC

$A^{-} = C^{T} ( C C^{T} )^{-1} ( B^{T} B )^{-1} B^{T}$

Note

参考文献( 元ネタというか，ほぼこのスライドのまとめ )

https://www.slideshare.net/wosugi/ss-79624897