학습 목표
- Projections
- Least squares
- Projection Matrix
목표: solution이 없을때 solution을 구하는 법 -> \(Ax = b\)에서 \(b\)가 column space에 없다면???
Projection 투영
벡터 a에 벡터b에서 (수직방향으로 선틀 그렸을때 만나는)projection하면 나오는 \(p=xa = Pb\)가 됌. 여기서 error 값 \(e = b-p\)가 생김.
벡터 a와 수직인 e를 수식으로 나타낸다면? \(a^T (b - xa) = 0\) \(\to\) orthogonal하니까,
\(xa^T a = a^T b\)
\(x = \frac{a^T b }{a^T a}\)
\(p = ax\)
\(p = a \frac{a^T b }{a^T a}\)
투영 벡터를 식으로 표현했을때 선형 대수적으로 표현한 것과 삼각법(cos)으로 표현한 것 일치
\(cos(\theta) = \frac{a^T b}{ab}\) 니까
투영 행렬
\(p = Pb\)
\(P = \frac{a a^T}{a^T a}\)
- 지난 강의에서 배운 바, 어떤 두 벡터를 column vector \(\times\) row vector 순으로 곱하면 rank 1 인 행렬이 만들어진다는 것을 앎
\(C(P)\) = line through \(a\) column space of P는 a를 지나가는 선
- vector a가 행렬 P의 column space의 기저가 됌.
rank(\(p\)) = 1
\(\star\)
- \(P\)는 symmetric matrix
- \(P^T = P\)
- \(P^2 = P\)
Project 투영의 개념을 배우는 이유는 뭘까?
Why project?
- Because \(Ax=b\) may have no solution
- solve \(A {\hat x} = p\) where \(p\) is project of \(b\) on to column space.
- 해가 없는데 식은 정해져 있으니 근사한 해라도 구하려고
- When the dimension is 3
3차원 공간에서 \(a_1\) 벡터는 \(x,y\) 축 사이로 뻗어 있고, \(a_2\)는 \(y,z\) 축 사이로 뻗어 있고, \(b\)는 \(y\)축 위로 뻗어 있다면, \(b\)는 column space 평면 위에 존재하지 않기 때문에 만족하는 해 \(x\)는 존재하지 않는다 그래서 근접한 해를 찾자는게 관건이다.
plane of \(a_1, a_2\) \(\to\) \(a_1,a_2\)가 basis임. 여기에 \(b\)가 가장 가까운 project는 수직으로 내리는 것이라는 것을 우리는 앎. 그게 projection \(P\)
colspace of overdetermined matrix \(A = \begin{bmatrix} \vdots & \vdots \\ a_1 & a_2 \\ \vdots & \vdots \end{bmatrix}\)
\(e = b - p\) is group to plane
\(p = x_1 a_1 + x_2 a_2 = A {\hat x}\)
\(p = A{\hat x}\) find \({\hat x}\)
key: \(b - p = b - A {\hat x}\) is \(\perp\) plane
\(a_1^T (b - A {\hat x}) = 0\)
\(a_2^T (b - A {\hat x}) = 0\)
\(\begin{bmatrix} a_1^T \\ a_2^T\end{bmatrix} \begin{bmatrix} b - A {\hat x} \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}\)
\(A^T(b - A {\hat x}) = 0\) \(\to\) left null space의 형태랑 비슷
\(e\) in \(N(A^T)\)
- 오차 벡터 \(e = (b - A {\hat x})\)가 행렬 \(A\)에 대한 left null space 에 존재한다는 것을 알 수 있음
\(e \perp C(A)\)? \(\to\) Yes
- 이전에 우리는 left null space가 행렬 A의 column space와 orthogonal하는 것을 배움.
\(A^T A {\hat x} = A^T b\)
\({\hat x} = (A^T A)^{-1} A^T b\) \(\to\) 이것은 최적해 best solution
\(pp = A {\hat x} = A(A^TA)^{-1} A^T b\)
matrix \(P = A(A^TA)^{-1} A^T\)
\(A A^{-1}(A^T)^T A^T = I\)
- 이는 matrix \(A\)가 정방행렬이고 역행렬이 존재할때만 가능한 조건임.
- 그런데 우리는 overdetermined matrix일때 solution 안 구해지는 거 가정하고 근사한 값을 찾는 중이잖아.
- 따라서 overdetermined matrix의 경우엔 위처럼 단위행렬이 나오지 않는다.
- \(n\) dimension에서 projection matrix를 구하는 방법
\(P^T = P\)
\(P^2 = P\)
- least squares
Fitting by a line