Projection 정의
가 벡터 공간이고 는 의 subspace 라고 하자.
이때, 을 만족하는 경우, linear mapping 을 projection 이라고 부른다.
Projection Matrix
linear mapping 은 transformation matrix 에 의해 표현될 수 있으므로, projection matrices 를 정의할 수 있다.
이 행렬은 다음과 같은 특징을 지닌다:
V 가 벡터 공간이고 U⊆V 는 V 의 subspace 라고 하자.
이때, π2=π∘π=π 을 만족하는 경우, linear mapping π:V→U 을 projection 이라고 부른다.
linear mapping 은 transformation matrix 에 의해 표현될 수 있으므로, projection matrices Pπ 를 정의할 수 있다.
이 행렬은 다음과 같은 특징을 지닌다: Pπ2=Pπ
벡터 u 와 v 가 존재한다고 가정할때, 내적 u· v 은 v 에서 u 로 내린 projection p 의 길이와 u 의 크기 ||u|| 값을 곱한것과 같다.
여기서 B 는 projection matrix 로, 다음과 같이 표현된다.
벡터 공간 은 또 다른 벡터 공간을 포함할 수 있다. 벡터 공간에 존재하는 또 다른 벡터 공간을 subspace 라고 한다.
벡터 u 와 v 가 존재한다고 가정할때, 내적 u\cdot v 은 v 에서 u 로 내린 projection p 의 길이와 u 의 크기 ||u|| 값을 곱한것과 같다.
norm V 이란, 벡터 공간에 존재하는 벡터의 크기를 측정하기 위한 함수를 의미한다.
vector space V, W 에 따른 각각의 ordered bases B=\left(\boldsymbol{b}_{1}, \ldots, \boldsymbol{b}_{n}\right) 그리고 C=\left(\boldsymbol{c}_{1}, \ldots, \boldsymbol{c}_{m}\right) 가 있다고 했을 때, linear mapping \Phi: V \rightarrow W 는 j \in\{1, \ldots, n\} 에 대하여 다음과 같다.
두 real vector space V, W 에 대하여, mapping \Phi: V \rightarrow W 은 모든 \boldsymbol{x}, \boldsymbol{y} \in V 그리고 \lambda \in \mathbb{R} 에 대해 다음을 만족하는 경우, vector space 의 구조를 보존한다고 말할 수 있다.
N 개의 i.i.d. 를 만족하는 데이터 포인트들 \mathbf{X}=\left[\mathbf{x}_{1},\ldots,\mathbf{x}_{N}\right]^{T} 이 존재하고, 각 \mathbf{x} 는 D 차원 벡터라고 하자. 이때 PCA 는 projection matrix \mathbf{P}=\left[\mathbf{p}_{1},\ldots,\mathbf{p}_{D^{\prime}}\right]^{T} 를 찾는 방법이다 (D^{\prime}\leq D).
L2 Loss 는 예측값과 정답의 차이를 제곱해서 penalty 를 주는 loss function 이다.
Orthogonal은 두 vector의 dot product가 0인 관계를 뜻한다.
주어진 행렬의 행을 바꾸기 위한 행렬 (Row operation)
어떤 벡터 공간 이 주어졌을 때, 해당 공간에 대한 모든 basis 는 vector 들과 동일 수를 만족해야 한다. 이 수는 그 공간에 대한 차원 (dimension) 이라고 부른다.