[Linear Algebra] Lecture 10

목표

• correct error in lecture 9
• Four Fundimental subspaces (for matrix \(A\))

- Example: Space in \(\mathbb{R}^3\), \(\mathbb{R}^n\) : \(n\) vectors give basis if \(A\) is \(n\) by \(n\).

3차원의 공간에서 A가 n * n 행렬이라면 n 벡터가 기저이다.

One basis is standard \(\begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}\) \(\begin{bmatrix} 0 \\ 1 \\ 0 \end{bmatrix}\) \(\begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}\)

Another basis \(\begin{bmatrix} 1 \\ 1 \\ 2 \end{bmatrix}\) \(\begin{bmatrix} 2 \\ 2 \\ 5 \end{bmatrix}\) \(\begin{bmatrix} 3 \\ 3 \\ 8 \end{bmatrix}\)

- 4 subspaces

When \(A\) is \(m \times n\) matrix

1. Column Space \(C(A)\)
   • dim\(C(A)\) = rank \(\mathbb{r}\)
2. Null Space \(N(A)\)
   • dim \(N(A)\) = \(n-\mathbb{r}\)
3. Row Space
   • = all combinations of rows
   • = all combinations of columns of \(A^\top\)
   • = \(C(A^\top)\)
     • dim \(C(A^\top)\) = rank \(\mathbb{r}\)
   • row space 는 행렬 전치를 통해 row들의 선형 조합으로 공간을 span하여 행렬을 표현할 수 있음.
4. Null Space of \(A^\top\)
   • = \(N(A^\top)\)
   • = left Null Space of \(A\)
     • dim \(N(A^\top)\) = \(m-\mathbb{r}\)

- When \(A\) is \(m\) by \(n\)

• \(C(A)\) in \(\mathbb{R}^m\)
• \(N(A)\) in \(\mathbb{R}^n\)
• \(C(A^\top)\) in \(\mathbb{R}^n\)
• \(N(A^\top)\) in \(\mathbb{R}^m\)

	\(C(A)\)	\(N(A)\)
basis	pivot columns	special solutions
dimension	\(\mathbb{r}\)1	\(n-\mathbb{r}\)2

¹ The number of pivot variables

² The number of free variables

\(\begin{bmatrix} 1 & 2 & 3 \\ 1 & 2 & 3 \\2 & 5 & 8 \end{bmatrix}\)

• rank = 2
  • independent row = 2
• basis = 2

\(A = \begin{bmatrix} 1 & 2 & 3 & 1 \\ 1 & 1 & 2 & 1 \\ 1 & 2 & 3 & 1 \end{bmatrix}\)

3 행에서 1 행 빼기, 2 행에서 1행 빼기

\(\to \begin{bmatrix} 1 & 2 & 3 & 1 \\ 0 & -1 & -1 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix}\)

2 행에 -1 곱하기

\(\to \begin{bmatrix} 1 & 2 & 3 & 1 \\ 0 & 1 & 1 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix}\)

1 행에서 2 행 2배해서 빼기

\(\to \begin{bmatrix} 1 & 0 & 1 & 1 \\ 0 & 1 & 1 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix}\)

\(R \begin{bmatrix} I & F \\ zero & rows \end{bmatrix}\)

\(R\) = Reduced Eschlon form

• \(I\) = Identity Matrix
• \(F\) = Free variables Matrix
• zero rows

\(C(R) \ne C(A)\)

• different column spaces
  • \(A\)와 \(R\)의 컬럼공간이 다르다.
  • row 연산을 진행하여서 row space는 변함이 없지만, columns 공건은 변화하였기에 A와 R이 같지 않은 것이다.
• same row spaces
• Basis for row space is first \(\mathbb{r}\) rows of \(R\)

- 왜 basis는 row에 있을까?

• row 연산 진행하면서 row space는 바뀌지 않는다.
• space가 같다는 말은 basis가 같다는 말과 같음

- \(N(A^\top)\) 를 왜 left null space라 부를까?

\(A^\top y = 0\)

\(\begin{bmatrix} A \end{bmatrix}\) \(\begin{bmatrix} y \\ y \\ \dots \\ y\end{bmatrix}\) = \(\begin{bmatrix} 0 \\ 0 \\ \dots \\ 0 \end{bmatrix}\)

transpose 하면

\(y^\top A = 0^\top\)

\(\begin{bmatrix} y & y & \dots & y\end{bmatrix}\) \(\begin{bmatrix} A \end{bmatrix}\) = \(\begin{bmatrix} 0 & 0 & \dots & 0 \end{bmatrix}\)

이처럼 벡터 \(y\)가 왼쪽에 있게 됌. 그래서 left null space left null space는 A가 0으로 되게 하는 y값인데, 이 벡터는 오직 0 벡터만이 존재한다>

A를 R로 만들기 위해서 (left null space를 구해보기 위해서) 가우스 조던 계산법 생각해보면

\(rref\begin{bmatrix} A_{m \times n} & I_{m \times m} \end{bmatrix}\) \(\to\) \(\begin{bmatrix} R_{m \times n} & E_{m \times m} \end{bmatrix}\)

• rref = reduced row eschlon form

\(\to E \begin{bmatrix} A_{m \times n} & I_{m \times m} \end{bmatrix}\) \(\to\) \(\begin{bmatrix} R_{m \times n} & E_{m \times m} \end{bmatrix}\)

\(\to E A = R\)

2장에서 배웠던 것!

• \(R\)이 \(I\)가 된다면, \(E\)는 \(A^{-1}\)이다.

\(\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix}\)

2 행에서 1 행 빼기

\(\to \begin{bmatrix} 1 & 0 & 0 \\ -1 & -1 & 0 \\ 0 & 0 & 1 \end{bmatrix}\)

3 행에서 1 행 빼기

\(\to \begin{bmatrix} 1 & 0 & 0 \\ -1 & -1 & 0 \\ -1 & 0 & 1 \end{bmatrix}\)

2 행에서 1 행에 두 배해서 빼기

\(\to \begin{bmatrix} 1 & 0 & 0 \\ 1 & -1 & 0 \\ -1 & 0 & 1 \end{bmatrix}\)

2 행에서 2배 해서 1행에서 빼기

\(\to \begin{bmatrix} -1 & 2 & 0 \\ 1 & -1 & 0 \\-1 & 0 & 1 \end{bmatrix}\)

\(EA = R\)

\(\begin{bmatrix} -1 & 2 & 0 \\ 1 & -1 & 0 \\-1 & 0 & 1 \end{bmatrix}\) \(\begin{bmatrix} 1 & 2 & 3 & 1 \\ 1 & 1 & 2 & 1 \\ 1 & 2 & 3 & 1 \end{bmatrix}\) = \(\begin{bmatrix} 1 & 0 & 1 & 1 \\ 0 & 1 & 1 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix}\)

• rank = 2
• dim\(N(A^\top) = m-r = 3-2 = 1\)
• E의 마지막 행으로(-1,0,1) zero row 를 만들 수 있다는 것을 보았음
  • 그리고 차원은 1(row 하나이기도 하고)

- New Vector Space

• All \(3 \times 3\) matrixes가 해당될까?

1. Upper triangular
2. Symmetrix matrices
3. diagonal matrixed (contain 2)

\(\begin{bmatrix} 1 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{bmatrix}\), \(\begin{bmatrix} 1 & 0 & 0 \\ 0 & 3 & 0 \\ 0 & 0 & 0 \end{bmatrix}\), \(\begin{bmatrix} 1 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 1 \end{bmatrix}\)

• dim of this subspace is 3
• 3 diagonal matrix 가 있을때, 3행, 3열이 각각 모두 independent 하다면, they are basis.
• any diagonal matrix is a combinations of those 3
  • 어느 대각 행렬도 이 3개의 행렬로 표현 가능

	\(C(A)\)	\(N(A)\)	\(C(A^\top)\)	\(N(A^\top)\)
	Column Space	Null Space	Row Space	Left Null Space
basis	pivot columns of \(A\)	special solutions of \(Ax=0\)	Pivot columns of \(A^\top\)	Special Solutions of \(A^\top x = 0\)
demension	\(r\)	\(n-r\)	\(r\)	\(m-r\)