Sufficient Statistics
- Sufficiency : is said to have ‘sufficiency’ for the parameter, if the conditional of given does not rely on the value of the parameter. And the is called ‘Sufficient Statistics.’
1 min read
Dirichlet Distribution Dirichlet(디리클레) 분포는 Beta distribution 의 확장판 Dirichlet 분포의 경우 vector 를 sampling 하고, vector 의 원소들은 모두 [0,1] 값을 가지며, 다 합치면 1 이 나옴 즉, Dirichlet 의 sample space 에 존재하는 vector 는 확률 분포와 동일한 속성을 지닌다. 디리클레 분...
h(x) 는 scaling 상수. base measure 로도 불리며, 주로 1 의 값을 가짐 T(x) 은 sufficient statistics A() 은 the log partition function T(x) 하고 A() 는 뭔지 잘 모르겠음
Dirichlet Distribution Dirichlet(디리클레) 분포는 Beta distribution 의 확장판 Beta 분포의 경우 X\sim\operatorname{Beta}(\alpha,\beta) 에서 sample 을 뽑을 시 0 과 1 사이의 값이 나옴 Dirichlet 분포의 경우 vector...
Exponential Family 랜덤 변수 x 의 분포가 exponential family 를 따른다고 했을때, pdf 는 다음과 같이 쓰여질 수 있다.
Independence (probability) Related Marginal independence Conditional independence 정의 That is, knowledge of Y’s value doesn’t affect your belief in the value of X, given a...
Concordant 두 변수를 가지는 두 쌍의 observations \left(\mathbf{X} {1}, \mathbf{Y} {1}\right) 그리고 \left(\mathbf{X} {2} \mathbf{Y} {2}\right) 에 대해서, 두 쌍이 concordant 하다면 다음을 만족한다.
Conditional Probability the conditional probability that \mathrm{y}=y given \mathrm{x}=x as P(\mathrm{y}=y\mid\mathrm{x}=x) 반드시 P(\mathrm{x}=x)>0 인 상황에서만 성립이 된다.
F-statistic \displaystyle F=\frac{(\mathrm{TSS}-\mathrm{RSS})/p}{\mathrm{RSS}/(n-p-1)} p 는 coefficient 개수, n 은 sample 개수 2. Related 3. References.
Conditional Entropy X 가 주어졌을 때 Y 의 conditional entropy 는 다음과 같이 계산된다 \displaystyle\mathrm{H}(Y\mid X)=-\sum {x\in\mathcal{X},y\in\mathcal{Y}}p(x,y)\log\frac{p(x,y)}{p(x)}...
Studentized Residuals residual e i 를 추정된 standard error 으로 나눈 값 - Related References.
Mean If we have a data set consisting of the values a {1},a {2},\ldots,a {n}, then the arithmetic mean A is defined by the formula: A=\frac{1}{n}\sum {i=1}^{n}a {i}=\frac{a...
Law of Conditional Probability Tags conditional probability 정의 \displaystyle p(A\mid B)=\frac{p(A,B)}{p(B)} Related References.