학습목표
- orthogonal vectors & subspaces
- nullspace & row space
- \(N(A^T A) = N(A)\)
- orthogonal(row space & null space)
row space
- dimesion = \(r\)
null space
dimesion = \(n-r\)
orthogonal(column space & null space of \(A^T\))
column space
- dimesion = \(r\)
null space of \(A^T\)
- dimesion = \(m-r\)
- Orthogonal vectors
Pythagoras 생각해보면, 내적한 \(X^Ty = 0\) 이 조건에서만 아래 식이 가능하다.
orthogonal 직교는 직각을 의미하며, 직교하는 벡터 두 개를 더하면 피타고라스의 정의가 성립한다.
이는 \(y\)가 0 벡터 일때도 성립하는 개념임, 내적하면 0 나오는 게 직교한다는 정의니까
\(||x|^2 + ||y||^2 = ||x+y||^2\)
- \(x^T x + y^T y = (y)^T (x+y)\)
- \(x^T x + y^T y = x^T x + y^T y +x^T y + y^T x\)
- \(0 = 2x^T y\)
x = \(\begin{bmatrix} 1\\ 2\\ 3 \end{bmatrix}\), \(y = \begin{bmatrix} 2\\-1\\0 \end{bmatrix}\), \(x+y=\begin{bmatrix}3\\1\\3 \end{bmatrix}\)
\(||x||^2 = 4\)
\(||y||^2 = 5\)
\(||x+y||^2 = 19\)
Subspace \(S\) is orthogonal to subspace \(T\).
means: every vector in \(S\) is orthogonalto every vector in \(T\)
\(Ax = b\)
\(\begin{bmatrix} \text{row 1}A \\ \text{row 2} A\\ \vdots\end{bmatrix} \begin{bmatrix}x_1\\ \vdots\\ x_n \end{bmatrix} = \begin{bmatrix} b_1 \\ \vdots \\ b_n\end{bmatrix}\)
row space is orthogonal to nullspace.
Ex
\(A = \begin{bmatrix} 1&2&5\\2&4&10\end{bmatrix}\), \(m=3, r=1\)
nullspace -> \(\begin{bmatrix} 1&2&5\end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\x_3\end{bmatrix} = \begin{bmatrix}0 \end{bmatrix}\)
\(dim N(A) = 2\)
- nullspace and rowspace are orthogonal complements in \(R^n\)
- Nullspace 와 Rowspace는 \(R^n\) dimension에서 서로 complement보완해주는 역할
- Nullspace contains all vectors and row space
- Null space 위 모든 벧터와 row space 위 모든 백터는 orthogonal함.
- nullspace of \(A^T\) and columnspace are orthogonal complements in \(R^m\)
- Nullspace of \(A^T\) 와 Columnspace는 \(R^m\) dimension에서 서로 complement보완해주는 역할
- Nullspace of \(A^T\) contains all vectors and column space
- Null space of \(A^T\) 위 모든 벧터와 column space 위 모든 백터는 orthogonal함.
\(Ax = b\) When there is no solution (\(m>n\)),
determinded matrix 미지수와 방정식의 수가 같을 때
overdetermined matrix 미지수와 방정식의 수가 같지 않을 때
\(A^T A\) overdetermined matrix A에 transpose한 것과 A를 곱한 것의 특징 세 가지
- \(n \times m\) and \(m \times n\) = \(n \times n\) -> square matrix
- symmetric metrix ((\(A^T A)^T = A^T A\))
- invertible(단, full rank 이어야 함)
When there is no solution of \(Ax=b\)
- \(A^T A x = A^T b\) 로 해결가능한 경우 있음
\(A = \begin{bmatrix} 1 & 1 \\1&2\\1&5\end{bmatrix}\)
\(Ax = b\)
\(\begin{bmatrix} 1 & 1 \\1&2\\1&5\end{bmatrix} \begin{bmatrix} x_1 \\ x_2\end{bmatrix} = \begin{bmatrix}b_1\\b_2\\b_3 \end{bmatrix}\)
\(m=3\) \(>\) \(n=2\), \(r=2\)
column space로 풀 수 있지만, 거의 불가능(경우의 수가 적음)
\(\begin{bmatrix}1&1&1\\1&2&5 \end{bmatrix} \begin{bmatrix} 1&1\\1&2\\1&5\end{bmatrix} = \begin{bmatrix} 3&8\\8&30\end{bmatrix}\)
\(\begin{bmatrix} 3&8\\8&30\end{bmatrix} \begin{bmatrix} {\hat x}_1 \\ {\hat x}_2 \end{bmatrix} = \begin{bmatrix} b_1 \\ b_2\end{bmatrix}\)
::: {.callout-tip} 역행렬은 항상 가능한 것이 아니기 때문에 이 방법으로 solution 찾지 못하는 경우도 있음
example
\(\begin{bmatrix}1 &1&1\\3&3&3 \end{bmatrix} \begin{bmatrix}1&3\\1&3\\1&3 \end{bmatrix} = \begin{bmatrix}3&9\\9&27 \end{bmatrix}\) ::
solution을 구하기 위해 전치를 해주자 \(\to\) 근사하는 해를 구할 수 있음
\(N(A^T A) = N(A)\)
- rank of \(A^T A\) = rnak of \(A\)
\(A^TA\) is invertible exactly \(A\) has independent column.