Zzong's Notes

expectation

2 min read

Expectation

분포의 중심이 되는 값이다.

Probability Theory 에서, 랜덤 변수 에 대한 expected value 는 또는 로 표기된다.

  • discrete random variable
  • Let be a random variable with a finite number of finite outcomes occurring with probabilities , respectively.
  • The expectation of is defined as

1.1. 예시

Let represent the outcome of a roll of a fair six-sided die. More specifically, will be the number of pips showing on the top face of the die after the toss.

  • The possible values for are 1, 2, 3, 4, 5, and 6, all of which are equally likely with a probability of .
  • The expectation of is
  • univariate continuous random variable
  • Remark
    • When the random variable associated with the expectation or covariance is clear by its arguments, the subscript is often suppressed (for example is often written as ).

2. Basic Property

2.1. Linearity of Expectation

for any random variables and , 그리고 상수 에 대하여 다음을 만족한다.

2.2. Non-multiplicativity

일반적으로, 가 꼭 와 같진 않다. 그러나 만약 와 가 독립이라면, 을 만족한다.

3. Uses and Applications

기댓값은 variance 를 계산하는데 활용할 수 있다.

4. Related

5. References

링크된 언급

10
bias

...\sum {j=1}^{p} \beta {j} x {i j}\right)^{2} bias(intercept) 는 x {i 1}=x {i 2}=\ldots=x {i p}=0 일 때 y 의 expected value 를 의미한다. E) Related F) References

covariance

...] Linearity of expectation(expectation > Linearity of expectation) 에 의해서 위 식은 다음과 같이 다시 쓸 수 있다: the expected value of the product minus the product of the expected values) \operatorname{Cov}[x,y]=\mathbb{E}[xy] \mathb...

EM algorithm

...mates of parameters in statistical models, where the model depends on unobserved latent variables. B.1) Expectation(E) Step Estimating the hidden variables (or missing values) B.2) Maximization(M) Step Using the fully o...

Expected A Posteriori

...ed A Posteriori(EAP) 란 참고: Toward data science EAP 는 Bayesian inference 를 통해 구한 사후분포 f(\theta\mid D) 의 expected value, 즉 기대값을 계산하는 방법입니다. 이는 MLE 나 maximum a posteriori probability 와 같이 하나의 값을 추정하는 point estimation 기법 중 하...

Expected SARSA

... 계산이 복잡하지만, A {t+1} 를 무작위로 선택할 때 발생하는 분산을 없애준다. 일반적으로 Expected SARSA 는 action 을 결정하기 위해서 \pi 와는 다른 정책 (Expected value) 을 사용할 것이고, 이 경우에는 off policy algorithm 이 된다. B) Related C) References

exponential family

...splaystyle A(\eta)=\log\int h(x)\exp\left\{\eta^{T}T(x)\right\}dx A(\eta) 를 \eta 에 대해 한번 미분하면 T(x) 에 대한 expectation 을 찾을 수 있다: \displaystyle\frac{\partial A(\eta)}{\partial\eta}=E[T(x)] A(\eta) 를 \eta 에 대해 두번 미분하면 T(x) ...

Gibbs Sampling

...값은 임의로 설정하거나 EM algorithm 에 의해 결정할 수 있다. 초기에 생성된 일부 샘플들은 무시하는게 일반적이다 (이 구간을 burn in period 라고 부른다). 그리고 expectation 을 계산할 때는 n 번째 샘플만 가져다가 평균을 계산한다. 예를 들어, 처음 1,000 개의 샘플은 무시하고, 이후 매 100 번째 샘플만 평균을 계산한다. 나머지는 버린다. 이렇게 하...

inverse propensity score

정의 Importance sampling 이라고 불리며, IPS 는 expectation 을 계산하고자 하는 확률 분포 f(x) 의 PDF p 를 알고있지만 샘플들을 생성하기 어려울 때, 비교적 쉬운 PDF 인 q(x) 에서 샘플을 생성하여 f 의 기댓값을 계산하는 방법이다...

joint probability

...rm{E}(\operatorname{Pr}(W,L\mid p))=\int\operatorname{Pr}(W,L\mid p)\operatorname{Pr}(p)dp \mathrm{E} 는 expectation 결합 확률 (Joint Probability) 결합 확률은 여러 확률 변수의 값이 동시에 발생할 확률을 의미합니다. 이는 각 확률 변수의 표본 공간들의 데카르트 곱 (Cartesian ...

Markov Decision Process

...sum {s^{\prime}\in\mathcal{S}}p\left(s^{\prime},r\mid s,a\right) s 에서 a 를 수행했을 때, 받을 수 있는 reward 의 기댓값 (expectation) s 에서 a 를 수행하여 s& 039; 로 이동했을 때, 받을 수 있는 reward 의 기댓값 r(s,a,s& 039;) 는 다음과 같음 \displaystyle r\left(s,a,...