벡터 와 가 존재한다고 가정할때, 내적 은 에서 로 내린 projection 의 길이와 의 크기 값을 곱한것과 같다.
1 min read
벡터 u 와 v 가 존재한다고 가정할때, 내적 u⋅v 은 v 에서 u 로 내린 projection p 의 길이와 u 의 크기 ∣∣u∣∣ 값을 곱한것과 같다.
Why Scaled dₖ 가 커질수록 dot products 의 값이 커지기 때문에 softmax 에서 gradient 값이 매우 작아지게 된다. 이러한 현상을 막기 위해서 scale 값을 적용했다고 한다. Example Figure
만약, 두 벡터가 서로 선형 독립 하지 않다면, 위 식의 양쪽은 서로 같다.
Scalar case y=g(x) 그리고 z=f(g(x))=f(y) 인 경우 chain rule 은 다음과 같다. Vector case 위 식은 Jacobian matrix 로 표현이 가능하다. 해당 행렬은 fᵢ 를 gᵢ 에 대하여 가능한 모든 조합과 gᵢ 를 xᵢ 에 대하여 가능한 모든 조합을 포함하고 있다. 예시
...junctions 이라고도 불림) 은 분류 성능을 향상시키기 위한 핵심 재료다. Factorization Machines 은 pairwise feature interaction 을 잡아내기 위해 내적 을 활용했다. Related
여기서 gradient 가 왜 가장 가파르게 올라가는 방향임을 알 수 있는데, 방향도함수가 최대가 되기 위해서는 gradient 와 vector 간 방향이 동일해야 하기 때문이다 (내적이므로).
Abstract 이 논문에서는 추천 시스템에서 sparse data 를 linear model 로 학습하는 방안을 제시했다. 학습에 사용한 training objective 는 closed-form solution 으로 표현될 수 있다. 실험 결과 SOTA CF 방식보다 더 나은 ranking accuracy 를 보였다. 여기서 CF 방식은 deep non-linear model 도 포함한다...
References wiki: en.wikipedia.org/wiki/Gram_matrix
Proofs dot product 를 활용한 증명
이제 이 두 FDE 벡터의 내적을 계산하면, q1, q2와 p1, p3가 Zone 11에서 상호작용하고, p2는 Zone 10에서 홀로 남아 점수에 기여하지 못하게 됩니다. 이는 다중 벡터 간의 복잡한 유사도 관계를 단일 벡터...
다른 벡터 연산과 비교 외적은 두 벡터 간 연산의 결과가 행렬이다. 이는 두 벡터 간 내적 이 scalar 인 것과 다른 개념을 보인다. 그리고 vector product 는 두 벡터에 수직이 되는 벡터를 결과로 얻는다. References
사이즈가 각각 m \times 1 그리고 n \times 1 인 두 벡터가 있다고 가정하자.
Vector product는 보통 3차원 vector의 cross product를 가리킨다. 두 vector에 모두 수직인 vector를 만들며, 방향은 right-hand rule로 정한다.
피타고라스 정리는 임의의 내적 공간에 대해서 다음과 같이 정의된다.
어떤 벡터들 v {1}, \ldots, v {n} 로 구성된 집합의 그람 행렬은 각 벡터들의 내적 (정확히는 inner product) G {i j}=\left\langle v {i}, v {j}\right\rangle 이 원소로 표현된 행렬을 의미한다.
Projection 정의 V 가 벡터 공간이고 U \subseteq V 는 V 의 subspace 라고 하자.
norm V 이란, 벡터 공간에 존재하는 벡터의 크기를 측정하기 위한 함수를 의미한다.
Proofs dot product 를 활용한 증명 c=\mathbf{a}-\mathbf{b} \begin{aligned} c \cdot c &=(\mathbf{a}-\mathbf{b}) \cdot(\mathbf{a}-\mathbf{b}) \\ &=\mathbf{a} \cdot...
matrix 는 linear mapping 또는 vector 의 collection 이라고 생각할 수 있다. 벡터 공간 은 꽤 추상적이므로, 이를 컴퓨터에 표현하고 다루기 위해서는 숫자들로 구성된 직사각형 array 들, 즉, 행렬을 사용할 필요가 있다.
정의 matrix의 norm 계산 방식으로, 모든 원소의 제곱합의 제곱근이다.
square matrix \boldsymbol{A}\in\mathbb{R}^{n\times n} 의 trace 는 주어진 정사각 행렬의 대각 원소들의 합을 의미한다.