Zzong's Notes

stochastic gradient descent

1 min read

Stochastic Gradient Descent

일반적인 Batch gradient descent(BGD) 를 이용한 방식은 한꺼번에 모든 학습 데이터에 대한 derivative 를 계산하기 때문에 데이터가 클 때 학습 속도가 느리다.

그러나 SGD 는 단일 training example 에 대한 cost 를 정의한다.

B) How to SGD ?

SGD 를 수행하기 전에, dataset 를 임의로 shuffle 한다 (섞는다). shuffle 의 이유는 데이터 자체가 특정한 structure 를 가질 수 있기 때문이다 (e.g. 시간 순서). 즉, 편향되지 않은 데이터에 대한 true gradient 를 얻기 위해서 데이터를 섞어줘야한다.

이후 아래와 같이 전체 개 examples 에 대한 parameter 업데이트를 각각 진행한다.

image-20201018172431535

C) Related

D) References

링크된 언급

9
BPR - Bayesian Personalized Ranking from Implicit Feedback

...은 ROC Curve 의 넓이를 최대화 하는것과 같다. LearnBPR 알고리즘 제시: bootstrap sampling (of training triples) 을 이용한 stochastic gradient descent 기반의 방법 C) Related Works SVD 를 통한 MF 는 overfitting 에 취약하다는 문제점이 있다. 이를 해결하기 위해 a regularized lea...

CBOW

...j}\right)= y {i}\log\left(\hat{y} {i}\right) y i 는 one hot vector 므로, 하나만 제외하고 나머지는 0 이다. Optimization 을 위해 SGD 를 사용한다. A.2) Vs. Skip gram skip gram B) Related C) References

Deep Q-Network

...ansition 정보를 저장해놨다가 network 를 업데이트 하기위해, 저장된 곳에서 데이터를 uniformly sampled 해서 학습시킨다. 이렇게 하는 이유는 학습 알고리즘으로 사용하는 SGD 의 전제 조건이, 학습 데이터가 i.i.d. 를 만족한다는 가정이 깔려있기 때문이다. 그러나 transition 데이터 (observation sequence) 끼리는 높은 correlatio...

Deep Reinforcement Learning with Double Q-Learning

...equiv R {t+1}+\gamma \max {a} Q\left(S {t+1}, a ; \boldsymbol{\theta} {t}\right) 위와 같은 업데이트 방식은 stochastic gradient descent 방식과 유사하며, 현재 value Q\left(S {t}, A {t} ; \boldsymbol{\theta} {t}\right) 값을 target value Y {t}^{...

Gaussian Mixture Model

...서 \gamma\left(z {nk}\right) 를 재 계산한다. 이를 수렴할때까지 반복한다. C.3) Why not Use Gradient Descent Method? stochastic gradient descent 를 이용해서 학습할 수 있지만, 두 가지 이유로 EM 보다는 비 효율적이다. GMM 에서의 가우시안 분포들의 covariance matrix \Sigma k 는 posit...

PASS-GLM

... 새로운 approach 를 제안. 해당 접근 방식은 polynomial approximate sufficient statistics 을 구성하는 것을 기반으로 한다. 실험적으로도 MCMC 나 SGD 그리고 Laplace approximation 보다 속도나 정확도 면에서 우위임을 보였다. B) Background B.1) Generalized Linear Models C) Related ...

REINFORCE

...},\boldsymbol{\theta}\right) 를 다시 나누는 방식으로 equality 를 유지한다. G {t} 는 return 을 의미한다. 이제 이 식을 이용해서 stochastic gradient descent algorithm 을 수행한다. 이 방식을 REINFORCE update 라 한다. \displaystyle\boldsymbol{\theta} {t+1}\doteq\bol...

Stochastic Variational Inference

... {\theta}(\mathbf{x},\mathbf{z}) \log q {\phi}(\mathbf{z})\right]) 에 대한 parameter \theta,\phi 를 stochastic gradient descent 를 통해 최적화 하는 방식을 stochastic varitional inference (SVI) 라고 부른다. A.1) General Concept 베이지안 사후 분포들에...

WSABIE - Scaling Up To Large Vocabulary Image Annotation

...지를 표현하면 계산 속도가 빨라지고 메모리 사용량이 줄어듭니다. A.2.2) WARP(Weighted Approximate Rank Pairwise) Loss WARP 는 stochastic gradient descent 와 샘플링 기법을 활용하여 순위를 근사적으로 계산합니다. 모든 데이터를 메모리에 적재하지 않고도 학습할 수 있습니다. A.2.3) Joint Word Image Model...