Dot Product
벡터 와 가 존재한다고 가정할때, 내적 은 에서 로 내린 projection 의 길이와 의 크기 값을 곱한것과 같다.
1 min read
벡터 u 와 v 가 존재한다고 가정할때, 내적 u⋅v 은 v 에서 u 로 내린 projection p 의 길이와 u 의 크기 ∣∣u∣∣ 값을 곱한것과 같다.
... B.1) Attention Function 의 종류 일반적으로 가장 많이 사용하는 attention function 은 additive attention 과 multiplicative(dot product) attention 이 있다. 두 함수의 차이점은 compatibility function 으로 한개의 hidden layer 가 있는 MLP 를 사용하는가 (additive) 아니면,...
Cauchy–Schwarz Inequality \mathbf{u}, \mathbf{v} \in V 에 대해서 두 벡터 간 내적 의 절대값은 각 벡터의 크기의 곱보다 작다는 식이다. |\langle\mathbf{u}, \mathbf{v}\rangle| \leq\|\mathbf{u}\|\|\mathbf{v}\| 만약, 두 ...
...name{diag}\left(\frac{\partial f {i}}{\partial g {i}} \frac{\partial g {i}}{\partial x {i}}\right) 예시 vector 내적 y=\mathbf{f}(\mathbf{w}) \cdot \mathbf{g}(\mathbf{x})=\sum {i}^{n}\left(w {i} x {i}\right)=\operatorname{sum...
...junctions 이라고도 불림) 은 분류 성능을 향상시키기 위한 핵심 재료다. Factorization Machines 은 pairwise feature interaction 을 잡아내기 위해 내적 을 활용했다. D) Related BarsCTR Open Benchmarking for Click Through Rate Prediction: 일반적인 CTR Prediction 에 대한 ove...
...(\mathbf{x})}{h} Gradient 와의 관계 directional derivative 는 vector \mathbf{v} 와 gradient \nabla f(\mathbf{x}) 의 내적 을 의미한다: \mathbf{v} \cdot \nabla f(\mathbf{x}) 여기서 gradient 가 왜 가장 가파르게 올라가는 방향임을 알 수 있는데, 방향도함수가 최대가 되기 위해서는...
...M 에서도 명시되어 있으며, 핵심적인 내용이다. 사용자 u \in \mathcal{U} 에 대한 item j \in \mathcal{I} 의 predicted score 는 다음과 같이 dot product 로 계산할 수 있다. S {u j}=X {u, \cdot \cdot} \cdot B \cdot, j 여기서 X {u,} 는 row u 이고, B \cdot, j 는 column j 이다...
Gram Matrix 어떤 벡터들 v {1}, \ldots, v {n} 로 구성된 집합의 그람 행렬은 각 벡터들의 내적 (정확히는 inner product) G {i j}=\left\langle v {i}, v {j}\right\rangle 이 원소로 표현된 행렬을 의미한다. 즉, v {1}, \ldots, v {n} 가 행렬 X 의 c...
...N}} \exp \left(\operatorname{sim}\left(\mathbf{x}, \mathbf{x}^{ }\right) / \tau\right)}\right] 여기서 유사도는 dot product 나 cosine similarity 같은 간단한 식을 사용한다. B) References Representation Learning with Contrastive Predictive C...
Law of Cosines B) Proofs dot product 를 활용한 증명 c=\mathbf{a} \mathbf{b} \begin{aligned} c \cdot c &=(\mathbf{a} \mathbf{b}) \cdot(\mathbf{...
...보를 찾아내는 것입니다. 임베딩 모델은 각 데이터 포인트를 하나의 벡터(임베딩)로 변환하여 의미적으로 유사한 데이터들이 수학적으로도 비슷한 벡터가 되도록 만듭니다. 이 임베딩들은 주로 inner product(내적 유사도)를 통해 비교되며, 이를 활용해 효율적인 maximum inner product search (MIPS) 알고리즘으로 빠른 검색이 가능합니다. 하지만 최근에는 ColBER...