[Linear Algebra] Lecture 16

Import

import numpy as np import matplotlib.pyplot as plt

Lecture

학습 목표

• Projections
• Least Squares and best straight line

$P=A(A^{T}A{)}^{-1}{A}^T$

• If $b$ in column space $Pb=b$
  • 민약 $b$가 컬럼 스페이스에 존재한다면 프로젝션 매트릭스에 곱해도 그대로 $b$가 나옴
  • $P=A(A^{T}A{)}^{-1}{A}^{T}b=A(A^{T}A{)}^{-1}{A}^{T}Ax=b$
  • $b$는 컬럼 스페이스 위에 존재하는 벡터이므로 위와 같이 계산된다.
• If $b$ $\perp$ column space $Pb=0$
  • 만약 $b$가 컬럼 스페이스랑 수직을 이루면 프로젝션 매트릭스에 곱하면 $0$이 나옴
  • $P=Pb=A(A^{T}A{)}^{-1}{A}^{T}b=0$
  • $b$가 컬럼 스페이스가 아닌 다른 공간인 left null space에 존재하면 $0$이 된다.
• $p$ = projection, $e$ = error, $b$ = a vector
  • $p$는 columns space 에 있고
  • $e$는 left null space 에 있다.
• $P$ = symmetric $\to$ $(I-P)$ = symmetric
• $P$ = projection $\to$ $(I-P)$ = projection

- Least Square Method

# 주어진 데이터 포인트
data = [(1, 1), (2, 2), (3, 2)]
x_data = [d[0] for d in data]
y_data = [d[1] for d in data]

# 다항 회귀를 위해 데이터를 변형합니다.
x = np.array(x_data)
y = np.array(y_data)

# 다항 회귀를 위한 최소자승법을 사용하여 회귀선을 구합니다.
coefficients = np.polyfit(x, y, 1)  # 1차 다항식을 사용합니다.

# 다항식 생성
p = np.poly1d(coefficients)

# 회귀선 그리기
plt.scatter(x, y, label='Data Points')
plt.plot(x, p(x), color='red', label='Regression Line')
plt.xlabel('X')
plt.ylabel('Y')
plt.title('Linear Regression')
plt.legend()
plt.grid(True)
plt.show()

$Ax=b$ $\to$ $\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 3\end{array}\right]\left[\begin{array}{c}C\\ D\end{array}\right]\left[\begin{array}{c}1\\ 2\\ 2\end{array}\right]$

• $y=C+Dt$ 식을 찾아본다고 할 때,
  • $C+D=1$
  • $C+2D=2$
  • $C+3D=2$
    • Don’t have a solution.
• best solution 찾기
  • $A^{T}A\hat{x}=A^{T}b$
• $||Ax-b|{|}^2=||e|{|}^2$
  • $e_1^2+e_2^2+e_3^2$
  • 각 $x$ 점에서 projection 한 값들
• I want to minimized the sum of error.

Find $\hat{x}=\left[\begin{array}{c}\hat{c}\\ \hat{p}\end{array}\right],P$

• $b$ normal wquations(=eqnas)

  • $3C+6D=5$
  • $6C+14D=15$
  • $2D=1$ $\therefore D=\frac{1}{2},C=\frac{2}{3}$

• best line $\frac{1}{2}t+\frac{2}{3}$

  • $e_1=-\frac{1}{6},e{x}_2=\frac{2}{6},e_3=-\frac{1}{6}$

• $(C+D-1{)}^2$ + $(C+2D-2{)}^2+(-3D-2^2)$

• $A^T A = A^T b $

• $P=A\hat{x}$

• If $A$ has independant columns then $A^{T}A$ is invertible.

  • Suppose $A^{T}Ax=0$
  • $X$ must be $0$

• Idea

  • $X^T A^T A x = 0 = (A_x)^T Ax $\to$ $Ax=0,X+0$

• columns definitely independent if they are perp unit vectors or thomominal vectores