Matrix inversie is een sleutel tot belangrijke mogelijkheden in Machine Learning. In de vorige sectie zagen we de identiteitsmatrix als speciale matrix.
Deze spelen een centrale rol in de formele definitie van de matrix inverse A โ 1 \pmb{A}^{-1} A A โ 1 A \pmb{A} A A
A โ 1 A = I n \pmb{A}^{-1}\pmb{A} = \pmb{I}_n A A โ 1 A A = I I n โ De matrix inverse A โ 1 \pmb{A}^{-1} A A โ 1 A \pmb{A} A A I n \pmb{I}_n I I n โ .
Stelsels van lineaire vergelijkingen ยถ We kunnen matrix inverses gebruiken om oplossingen te vinden voor zogenaamde stelsels van lineaire vergelijkingen . De algemene vorm van een lineaire vergelijking is:
y = ฮฒ 1 x 1 + ฮฒ 2 x 2 + โฆ + ฮฒ n x n y = \beta_1x_1 + \beta_2x_2 + \ldots + \beta_nx_n y = ฮฒ 1 โ x 1 โ + ฮฒ 2 โ x 2 โ + โฆ + ฮฒ n โ x n โ We kunnen dit in vector notatie vertalen naar:
y = [ ฮฒ 1 ฮฒ 2 โฆ ฮฒ n ] T [ x 1 x 2 โฎ x n ] y = \begin{bmatrix} \beta_1 & \beta_2 & \ldots & \beta_n\end{bmatrix}^T\begin{bmatrix}
x_1 \cr
x_2 \cr
\vdots \cr
x_n
\end{bmatrix} y = [ ฮฒ 1 โ โ ฮฒ 2 โ โ โฆ โ ฮฒ n โ โ ] T โฃ โก โ x 1 โ x 2 โ โฎ x n โ โ โฆ โค โ Bij een stelsel van lineaire vergelijkingen blijft b = [ ฮฒ 1 ฮฒ 2 โฆ ฮฒ n ] T \pmb{b} = \begin{bmatrix} \beta_1 & \beta_2 & \ldots & \beta_n\end{bmatrix}^T b b = [ ฮฒ 1 โ โ ฮฒ 2 โ โ โฆ โ ฮฒ n โ โ ] T x = [ x 1 x 2 โฆ x n ] T \pmb{x} = \begin{bmatrix} x_1 & x_2 & \ldots & x_n\end{bmatrix}^T x x = [ x 1 โ โ x 2 โ โ โฆ โ x n โ โ ] T
y 1 = ฮฒ 1 x 1 , 1 + ฮฒ 2 x 1 , 2 + โฆ + ฮฒ n x 1 , n y 2 = ฮฒ 1 x 2 , 1 + ฮฒ 2 x 2 , 2 + โฆ + ฮฒ n x 2 , n โฆ y m = ฮฒ 1 x m , 1 + ฮฒ 2 x m , 2 + โฆ + ฮฒ n x m , n \begin{align}
y_1 &= \beta_1x_{1,1} + \beta_2x_{1,2} + \ldots + \beta_nx_{1,n} \cr
y_2 &= \beta_1x_{2,1} + \beta_2x_{2,2} + \ldots + \beta_nx_{2,n} \cr
\ldots \cr
y_m &= \beta_1x_{m,1} + \beta_2x_{m,2} + \ldots + \beta_nx_{m,n} \cr
\end{align} y 1 โ y 2 โ โฆ y m โ โ = ฮฒ 1 โ x 1 , 1 โ + ฮฒ 2 โ x 1 , 2 โ + โฆ + ฮฒ n โ x 1 , n โ = ฮฒ 1 โ x 2 , 1 โ + ฮฒ 2 โ x 2 , 2 โ + โฆ + ฮฒ n โ x 2 , n โ = ฮฒ 1 โ x m , 1 โ + ฮฒ 2 โ x m , 2 โ + โฆ + ฮฒ n โ x m , n โ โ โ Dit kunnen compact in matrix notatie schrijven:
y = X b \pmb{y} = \pmb{X}\pmb{b} y y = X X b b In een stelsel van vergelijkingen is het de bedoeling om een oplossing te vinden voor b \pmb{b} b b
y = X b X โ 1 y = X โ 1 X b X โ 1 y = I n b X โ 1 y = b b = X โ 1 y \begin{align}
\pmb{y} &= \pmb{X}\pmb{b} \cr
\pmb{X}^{-1}\pmb{y} &= \pmb{X}^{-1}\pmb{X}\pmb{b} \cr
\pmb{X}^{-1}\pmb{y} &= \pmb{I}_n\pmb{b} \cr
\pmb{X}^{-1}\pmb{y} &= \pmb{b} \cr
\pmb{b} &= \pmb{X}^{-1}\pmb{y}
\end{align} y y X X โ 1 y y X X โ 1 y y X X โ 1 y y b b โ = X X b b = X X โ 1 X X b b = I I n โ b b = b b = X X โ 1 y y โ โ We kunnen de vergelijkingen dus oplossen voor b \pmb{b} b b X โ 1 \pmb{X}^{-1} X X โ 1 n = 2 n=2 n = 2
โ 5 = ฮฒ 1 + 3 ฮฒ 2 4 = 2 ฮฒ 1 โ ฮฒ 2 \begin{align}
-5 &= \beta_1 + 3\beta_2 \cr
4 &= 2\beta_1 - \beta_2
\end{align} โ 5 4 โ = ฮฒ 1 โ + 3 ฮฒ 2 โ = 2 ฮฒ 1 โ โ ฮฒ 2 โ โ โ We hebben dus:
y = [ โ 5 4 ] T X = [ 1 3 2 โ 1 ] \begin{align}
\pmb{y} &= \begin{bmatrix}
-5 & 4
\end{bmatrix}^T \cr
\pmb{X} &= \begin{bmatrix}
1 & 3 \cr
2 & -1
\end{bmatrix}
\end{align} y y X X โ = [ โ 5 โ 4 โ ] T = [ 1 2 โ 3 โ 1 โ ] โ โ Om b \pmb{b} b b X \pmb{X} X X 2 ร 2 2 \times 2 2 ร 2
X โ 1 = 1 d e t ( X ) [ x 2 , 2 โ x 1 , 2 โ x 2 , 1 x 1 , 1 ] = 1 x 1 , 1 x 2 , 2 โ x 1 , 2 x 2 , 1 [ x 2 , 2 โ x 1 , 2 โ x 2 , 1 x 1 , 1 ] \begin{align}
\pmb{X}^{-1} &= \frac{1}{det(\pmb{X})}\begin{bmatrix}
x_{2,2} & -x_{1,2} \cr
-x_{2,1} & x_{1,1}
\end{bmatrix} \cr
&= \frac{1}{
x_{1,1}x_{2,2} - x_{1,2}x_{2,1}
}\begin{bmatrix}
x_{2,2} & -x_{1,2} \cr
-x_{2,1} & x_{1,1}
\end{bmatrix}
\end{align} X X โ 1 โ = d e t ( X X ) 1 โ [ x 2 , 2 โ โ x 2 , 1 โ โ โ x 1 , 2 โ x 1 , 1 โ โ ] = x 1 , 1 โ x 2 , 2 โ โ x 1 , 2 โ x 2 , 1 โ 1 โ [ x 2 , 2 โ โ x 2 , 1 โ โ โ x 1 , 2 โ x 1 , 1 โ โ ] โ โ We krijgen bijgevolg:
X โ 1 = 1 โ 1 โ 3 ร 2 [ โ 1 โ 3 โ 2 1 ] = 1 โ 7 [ โ 1 โ 3 โ 2 1 ] = [ 1 7 3 7 2 7 โ 1 7 ] \begin{align}
\pmb{X}^{-1} &= \frac{1}{
-1 - 3 \times 2
}\begin{bmatrix}
-1 & -3 \cr
-2 & 1
\end{bmatrix} \cr
&= \frac{1}{-7}\begin{bmatrix}
-1 & -3 \cr
-2 & 1
\end{bmatrix} \cr
&= \begin{bmatrix}
\frac{1}{7} & \frac{3}{7} \cr
\frac{2}{7} & -\frac{1}{7}
\end{bmatrix}
\end{align} X X โ 1 โ = โ 1 โ 3 ร 2 1 โ [ โ 1 โ 2 โ โ 3 1 โ ] = โ 7 1 โ [ โ 1 โ 2 โ โ 3 1 โ ] = [ 7 1 โ 7 2 โ โ 7 3 โ โ 7 1 โ โ ] โ โ en voor de uiteindelijke oplossing b = X โ 1 y \pmb{b} = \pmb{X}^{-1}\pmb{y} b b = X X โ 1 y y
b = [ 1 7 3 7 2 7 โ 1 7 ] [ โ 5 4 ] = [ 1 7 ( โ 5 ) + 3 7 ( 4 ) 2 7 ( โ 5 ) + ( โ 1 7 ) ( 4 ) ] = [ 1 โ 2 ] \begin{align}
\pmb{b} &= \begin{bmatrix}
\frac{1}{7} & \frac{3}{7} \cr
\frac{2}{7} & -\frac{1}{7}
\end{bmatrix} \begin{bmatrix}
-5 \cr
4
\end{bmatrix} \cr
&= \begin{bmatrix}
\frac{1}{7}(-5) + \frac{3}{7}(4) \cr
\frac{2}{7}(-5) + (-\frac{1}{7})(4)
\end{bmatrix} \cr
&= \begin{bmatrix}
1 \cr
-2
\end{bmatrix}
\end{align} b b โ = [ 7 1 โ 7 2 โ โ 7 3 โ โ 7 1 โ โ ] [ โ 5 4 โ ] = [ 7 1 โ ( โ 5 ) + 7 3 โ ( 4 ) 7 2 โ ( โ 5 ) + ( โ 7 1 โ ) ( 4 ) โ ] = [ 1 โ 2 โ ] โ โ Ter verificatie:
โ 5 = ( 1 ) + ( โ 2 ) ร 3 = 1 โ 6 = โ 5 4 = ( 1 ) ร 2 โ ( โ 2 ) = 2 + 2 = 4 \begin{align}
-5 &= (1) + (-2) \times 3 = 1 - 6 = -5 \cr
4 &= (1) \times 2 - (-2) = 2 + 2 = 4
\end{align} โ 5 4 โ = ( 1 ) + ( โ 2 ) ร 3 = 1 โ 6 = โ 5 = ( 1 ) ร 2 โ ( โ 2 ) = 2 + 2 = 4 โ โ