Frobenius Norm

A.1) 정의

matrix의 norm 계산 방식으로, 모든 원소의 제곱합의 제곱근이다.

$$\Vert A{\Vert }_{\mathrm{F}}=\sqrt{\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2}=\sqrt{\mathrm{trace}(A^{\ast }A)}=\sqrt{\sum _{i=1}^{\min (m,n)}{\sigma }_i^2}$$

A.2) 계산 방법

방법	수식	설명
원소별	$\sqrt{\sum_{i,j}	a_{ij}
Trace	$\sqrt{\text{tr}(A^{\ast }A)}$	$A^{\ast }A$의 대각합의 제곱근
Singular value	$\sqrt{{\sum }_i{\sigma }_i^2}$	특이값 제곱합의 제곱근

A.3) 예시

$$A=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]$$ $$\Vert A{\Vert }_F=\sqrt{1^2+2^2+3^2+4^2}=\sqrt{30}\approx 5.48$$

A.4) 특징

• 벡터의 L2 norm을 행렬로 일반화한 것
• Submultiplicative: $\Vert AB{\Vert }_F\le \Vert A{\Vert }_F\Vert B{\Vert }_F$
• Unitarily invariant: $\Vert UAV{\Vert }_F=\Vert A{\Vert }_F$ (U, V가 유니터리 행렬일 때)

A.5) 활용

• 행렬 근사 오차 측정 (e.g., SVD truncation)
• Regularization: $\Vert W{\Vert }_F^2$ (weight decay)
• 행렬 간 유사도 비교

A.6) 참고

• norm
• matrix
• SVD