Zzong's Notes

orthogonal

1 min read

Orthogonal은 두 vector의 dot product가 0인 관계를 뜻한다.

두 non-zero vector가 orthogonal이면 기하적으로 서로 90도 방향을 이룬다고 볼 수 있다.

Orthogonal Matrix

Orthogonal matrix는 column vector들이 서로 orthonormal이고, transpose가 inverse와 같은 real-valued matrix다.

즉, 가 성립한다. Real-valued space에서는 orthogonal matrix를 쓰고, complex-valued space에서는 unitary matrix가 같은 역할을 한다.

왜 중요한가

Orthogonal transformation은 vector의 길이와 각도를 보존한다. 그래서 rotation, reflection, QR decomposition, PCA의 basis 변환을 이해할 때 자주 등장한다.

Orthonormal basis로 좌표계를 잡으면 projection과 decomposition 계산이 단순해지는 이유도 이 성질 때문이다.

링크된 언급

7
basis

... 때문이다. 그렇지 않을 경우, original vector 를 basis 로 써야 한다 (refer). Orthonormal Basis 만약 기저 벡터가 unit vector 면서 서로 orthogonal 이라면, 이러한 기저 벡터를 orthonormal(정규직교) basis vector 라고 부른다.

One Hot Encoding

이렇게 하면 모든 데이터가 orthogonal vector space 에 존재하는 vector 들로 표현된다. 특징 장점

ordinary least squares

OLS MSE 를 cost function 으로 가지는 선형 회귀 모델에 대한 closed form solution 다음과 같은 선형 회귀 모델에 대한 RSS 가 있다고 해보자. 이를 미분해서 gradient 를 구하면 다음과 같다. 이제 gradient 를 0 으로 설정하면 normal equations 이라고 알려진 다음과 같은 식을 얻는다: OLS 는 Unique Global Minim...

orthonormal

Orthonormal Matrix orthonormal matrix is a real square matrix whose columns and rows are orthonormal vectors. Related norm

support vector machine

Classification with SVM binary classification 의 핵심은 D 차원 공간에 존재하는 example 들을 레이블에 따라 두 파티션으로 나눈다는 것이다. 이때, 공간을 나누는 역할을 hyperplane 이 맡게된다. p- 차원 hyperplane 의 한쪽에 있는 경우 Hyperplane hyperplane 은 affine subspaces 이기 때문에, 다음과 같...

unitary matrix

...lex vector space에서 inverse가 conjugate transpose와 같은 matrix다. U^ U = UU^ = I real-valued matrix에서는 같은 역할을 orthogonal가 한다. 왜 중요한가 Unitary transformation은 vector의 norm과 inner product를 보존한다. 그래서 numerical linear algebra, qua...

함께 보면 좋은 글

unitary matrix

Unitary matrix는 complex vector space에서 inverse가 conjugate transpose와 같은 matrix다. U^ U = UU^ = I real-valued matrix에서는 같은 역할을 orthogonal가 한다.

orthonormal

두 벡터 \boldsymbol{b} {i} 와 \boldsymbol{b} {j} 가 orthonormal (정규 직교) 할 경우, 다음을 만족한다.

basis

벡터 공간 을 만드는 벡터를 뜻한다. 다시 말하면, 어떤 벡터들의 집합이 1) 선형 독립 을 만족하고, 2) 이 집합의 span 이 벡터 공간 V 을 구성한다면, 그 집합의 벡터들은 V 에 대한 basis 라고 부를 수 있다.

QR decomposition

Householder rank-revealing QR decomposition of a matrix with column-pivoting Householder transformations 를 활용하여 matrix \mathbf{A} 를 다음을 만족하는 \mathbf{P},\mathbf{Q},\mathbf{R} 로...

ordinary least squares

OLS MSE 를 cost function 으로 가지는 선형 회귀 모델에 대한 closed form solution 다음과 같은 선형 회귀 모델에 대한 RSS 가 있다고 해보자.

projection

Projection 정의 V 가 벡터 공간이고 U \subseteq V 는 V 의 subspace 라고 하자.

permutation matrix

주어진 행렬의 행을 바꾸기 위한 행렬 (Row operation) \left[\begin{array}{ll}0 & 1 \\ 1 & 0\end{array}\right]\left[\begin{array}{ll}a & b \\ c &...

Singular Value Decomposition

SVD 특이값 분해 (Singular Value Decomposition, SVD) 는 m\times n 행렬 A 를 다음과 같이 3 개의 행렬 곱으로 분해하는 방법을 의미한다.

diagonal matrix

Formally, a matrix D is diagonal if and only if D {i,j}=0 for all i\neq j.

adjacency matrix

adjacency matrix 는 정방 행렬로, 유한한 그래프를 표현하기 위한 행렬이다. 이 행렬의 원소는 두 vertices 가 그래프 상에서 서로 인접 (adjacent) 한지 여부를 나타낸다.