Formally, a matrix is diagonal if and only if for all .
는 대각 원소가 vector 로 구성되어 있는 matrix 라는 의미
특징
vector 곱을 수행할 때 효율적이다:
Inverse of Diagonal Matrix
대각 행렬의 역행렬 은 모든 대각 원소가 0 이 아닌 경우에만 존재한다:
그리고 대각 행렬은 square 일 필요는 없지만, ㅇ
Formally, a matrix D is diagonal if and only if Di,j=0 for all i=j.
diag(v) 는 대각 원소가 vector v 로 구성되어 있는 matrix 라는 의미
vector 곱을 수행할 때 효율적이다:
diag(v)x=v⊙x대각 행렬의 역행렬 은 모든 대각 원소가 0 이 아닌 경우에만 존재한다:
diag(v)−1=diag([1/v1,…,1/vn]⊤)그리고 대각 행렬은 square 일 필요는 없지만, ㅇ
Scalar case y=g(x) 그리고 z=f(g(x))=f(y) 인 경우 chain rule 은 다음과 같다. Vector case 위 식은 Jacobian matrix 로 표현이 가능하다. 해당 행렬은 fᵢ 를 gᵢ 에 대하여 가능한 모든 조합과 gᵢ 를 xᵢ 에 대하여 가능한 모든 조합을 포함하고 있다. 예시
full: D(D+1)/2 개의 원소를 가진 공분산 행렬 (대각선 절반이 가득 찬 행렬) diagonal: D 개의 원소를 가진 공분산 행렬 (diagonal matrix)
Jacobian 에서 i≠ j 인 칸은 대각선 바깥 칸이므로, 대각선만 남은 대각 행렬이 된다.
PCA 여기서 B 는 projection matrix 로, 다음과 같이 표현된다. 여기서 M<D 를 만족한다. B 을 이루는 열벡터들은 orthonormal 하다고 가정한다. 왜냐하면, projection 자체가 scaling 없이 rotation 만 하기 때문에 unit vector 여야 하기 때문이다. Figure PCA Derivation covariance matrix C 는 다...
\boldsymbol{A}=\boldsymbol{A}^{\top} 를 만족하는 matrix \boldsymbol{A}
\boldsymbol{A} \in \mathbb{R}^{n \times n} 행렬에 대하여 \boldsymbol{A B}=\boldsymbol{I}_{n}=\boldsymbol{B} A 를 만족하는 \boldsymbol{B} \in \mathbb{R}^{n \times n} 를 inverse matrix \boldsymbol{A}^{-1} 라고 한다.
신경망 학습은 같은 질문을 계속 반복한다. "파라미터를 아주 조금 바꾸면 loss 가 얼마나 바뀌는가?" 이 답을 알아야 loss 가 줄어드는 방향으로 파라미터를 옮길 수 있다.
matrix 는 linear mapping 또는 vector 의 collection 이라고 생각할 수 있다. 벡터 공간 은 꽤 추상적이므로, 이를 컴퓨터에 표현하고 다루기 위해서는 숫자들로 구성된 직사각형 array 들, 즉, 행렬을 사용할 필요가 있다.
주어진 행렬의 행을 바꾸기 위한 행렬 (Row operation)
A square matrix with linearly dependent columns is known as singular.
adjacency matrix 는 정방 행렬로, 유한한 그래프를 표현하기 위한 행렬이다.
어떤 벡터들 v_{1}, \ldots, v_{n} 로 구성된 집합의 그람 행렬은 각 벡터들의 내적 (정확히는 inner product) G_{i j}=\left\langle v_{i}, v_{j}\right\rangle 이 원소로 표현된 행렬을 의미한다.
A\boldsymbol{x}=\boldsymbol{b} 의 경우 다음과 같이 행 또는 열을 나눠서 계산할 수 있다.