두 이산 랜덤 변수 $X, Y$ 에 대하여 outcome pair $(x, y)$ 의 PMI는 두 값이 독립일 때 기대되는 빈도보다 얼마나 더 자주 또는 덜 자주 함께 나타나는지 를 측정한다.

수식

pmi (x; y) \equiv lo g \frac{p ( x , y )}{p ( x ) p ( y )} = lo g \frac{p ( x ∣ y )}{p ( x )} = lo g \frac{p ( y ∣ x )}{p ( y )}

$p (x, y)$ 는 $x, y$ 가 동시에 일어날 확률이다. 이 값이 각각 일어날 확률의 곱 $p (x) p (y)$ 와 같다면 두 값은 독립이고, 이때 $pmi (x; y) = 0$ 이다.

동시에 일어날 확률이 독립일 때의 기대값보다 크면 PMI는 양수, 작으면 음수가 된다.

Normalized PMI (NPMI)

PMI를 normalized 한 값으로, [-1, +1] 사이의 값을 가진다.

npmi \equiv \frac{pmi}{- lo g p ( x , y )} = \frac{lo g [ p ( x ) p ( y )]}{lo g p ( x , y )} - 1

PMI 를 이용한 우리말 어휘의 의미 극성 판단