Frobenius norm

정의

matrix의 norm 계산 방식으로, 모든 원소의 제곱합의 제곱근이다.

$$\Vert A{\Vert }_{\mathrm{F}}=\sqrt{\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2}=\sqrt{\mathrm{trace}(A^{\ast }A)}=\sqrt{\sum _{i=1}^{\min (m,n)}{\sigma }_i^2}$$

계산 방법

방법	수식	설명
원소별	$\sqrt{{\sum }_{i,j}|a_{ij}{|}^2}$	모든 원소 제곱합의 제곱근
Trace	$\sqrt{\text{tr}(A^{\ast }A)}$	$A^{\ast }A$의 대각합의 제곱근
Singular value	$\sqrt{{\sum }_i{\sigma }_i^2}$	특이값 제곱합의 제곱근

예시

$$A=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]$$ $$\Vert A{\Vert }_F=\sqrt{1^2+2^2+3^2+4^2}=\sqrt{30}\approx 5.48$$

특징

• 벡터의 L2 norm을 행렬로 일반화한 것
• Submultiplicative: $\Vert AB{\Vert }_F\le \Vert A{\Vert }_F\Vert B{\Vert }_F$
• Unitarily invariant: $\Vert UAV{\Vert }_F=\Vert A{\Vert }_F$ (U, V가 유니터리 행렬일 때)

활용

• 행렬 근사 오차 측정 (e.g., SVD truncation)
• Regularization: $\Vert W{\Vert }_F^2$ (weight decay)
• 행렬 간 유사도 비교

참고

• norm
• matrix
• SVD