Zzong's Notes

i.i.d.

2 min read

i.i.d.

어떠한 랜덤 확률변수의 집합이 있을때, 각각의 랜덤 확률변수들은 자기 사건의 발생의 영향이 다른 랜덤 확률변수에게 미치지 않고, 동일한 분포를 가질때를 의미함

the word “independent” usually refers to mutually independent random variables, where all subsets are independent.
The phrase “identically distributed” means that all the random variables are from the same distribution.

B) 예시

  • Binomial Distribution (성공 or 실패) 를 가지는 동전던지기를 3 회 실시한다고 가정하자.
  • 각각의 시행은 이전이나 이후의 시행에 영향을 주지않는 독립시행이며 각각의 시행에서 나오는 동전의 앞,뒤에 대한 결과값의 분포는 동일한 Binomial Distribution 를 따르기 때문에 이는 i.i.d. 라고 할수 있다.

링크된 언급

8
Deep Q-Network

...work 를 업데이트 하기위해, 저장된 곳에서 데이터를 uniformly sampled 해서 학습시킨다. 이렇게 하는 이유는 학습 알고리즘으로 사용하는 SGD 의 전제 조건이, 학습 데이터가 i.i.d. 를 만족한다는 가정이 깔려있기 때문이다. 그러나 transition 데이터 (observation sequence) 끼리는 높은 correlation 을 가진다. A.3) Loss Funct...

first-visit MC

...s 의 평균값을 취해 v \pi(s) 를 계산한다. first visit 의 경우에는 각 return 값은 유한한 variance \sigma^2 를 가지는 v \pi(s) 의 추정값에 대해 i.i.d. 하다. B) Related C) References

marginal likelihood

... integrated likelihood, is a likelihood function in which some parameter variables have been marginalized. i.i.d. 데이터 셋 \mathbf{X}=\left(x {1},\ldots,x {n}\right) 이 주어졌을 때, marginal likelihood 는 일반적으로 \theta 가 marginaliz...

Maximum Likelihood Estimation

...tion of MLE 확률 분포마다 MLE 구하는 방식이 다르지만, 일반적인 절차는 다음과 같다. 확률 분포를 theta 에 대한 함수로 표현: 일반적으로 각 확률 (likelihood) 이 i.i.d. 하다는 가정하에 모두 곱해줌 \displaystyle P(x\mid\theta)=\prod {k=1}^{n}P\left(x {k}\mid\theta\right) 모두 곱한 값에, 다루기 쉬우...

Offline AB testing for Recommender Systems

... 에 대한 확률 분포 B) Offline A/B Test 테스트를 수행하기 위해서는 behaviour policy 또는 logging policy \pi p 라고 불리는 것을 활용해 n 개의 i.i.d. samples \mathcal{S} {n}=\left\{\left(x {i},a {i},r {i}\right):i\in[n]\right\} 들을 셋팅한다. 테스트 수행의 목적은 새로운 pol...

PCA

...tion 자체가 scaling 없이 rotation 만 하기 때문에 unit vector 여야 한다. 아래 그림을 통해 전체 과정을 이해할 수 있다. B) PCA Derivation N 개의 i.i.d. 를 만족하는 데이터 포인트들 \mathbf{X}=\left[\mathbf{x} {1},\ldots,\mathbf{x} {N}\right]^{T} 이 존재하고, 각 \mathbf{x} 는 D ...

Principal Component Analysis

PCA N 개의 i.i.d. 를 만족하는 데이터 포인트들 \mathbf{X}=\left[\mathbf{x} {1},\ldots,\mathbf{x} {N}\right]^{T} 이 존재하고, 각 \mathbf{x} 는 D ...