Zzong's Notes

cross-entropy

3 min read

Cross-entropy

우리가 예측 모형을 build 하는 이유는 불확실성을 제어하고자 하는 것이다.

이때, 예측 모형은 실제 분포인 를 모르고, 모델링을 하여 분포를 예측하고자 하는 것이다.
예측 모델링을 통해 구한 분포를 라고 해보자. 실제 분포인 를 예측하는 분포를 만들었을 때, 이 때 cross-entropy 는 아래와 같이 정의된다.

이는 logloss 로 불리기도 하는데, 로그 손실은 분류 문제에서 모델의 성능을 평가하는 데 사용되는 손실 함수입니다. 로그 손실은 모델이 예측한 확률 분포와 실제 레이블의 확률 분포 간의 차이를 측정합니다.

이 값이 작을수록 모델의 성능이 좋다고 판단합니다.

B) Application

machine learning 에서 cross-entropy 는 실제 확률 분포와 모델의 예측 분포의 차이 (dissimilarity) 를 계산하는데 활용할 수 있다.

cross-entropy 는 상당히 자주 쓰이는데, 주된 이유는 cross-entropy 가 비교하는 확률 분포에 대한 종류를 특정하지 않기 때문이다.

C) Entropy 와 비교

cross-entropy 의 값은 entropy 값보다 항상 크다.

예를 들어, 가방에 0.8/0.1/0.1 의 비율로, 빨간/녹색/노랑 공이 들어가 있고, 모델을 통한 예측 로는 0.2/0.2/0.6 의 비율로 가정했다고 해보자.

이 때, entropy 와 cross-entropy 는 아래와 같이 계산된다.

D) KL-Divergence 과의 비교

주어진 데이터에 대한 Maximum Likelihood Estimation 와 같은 estimation 을 수행하는 경우, 추정한 분포와 실제 분포가 비슷하길 원한다.
이를 위해, KL-Divergence 와 같은 metric 을 사용하는데, 두 분포 간 KL divergence 를 최소화하는 것은 cross-entropy 를 최소화하는 것과 동일하다.

E) 계산 팁

계산 시, 정보 이론에 기반하여 이다.

F) Binary Cross Entory

binary cross-entropy 는 CTR prediction 문제에서 광범위하게 사용된다.

G) perplexity 와 연관성

Perplexity and cross-entropy are closely related in language models. Perplexity is defined as 2 raised to the power of the cross-entropy. Mathematically, this relationship is expressed as:

링크된 언급

10
classification

...이상인 경우의 분류 문제를 의미하며, 정답은 한 개의 class 밖에 없다. 2 개 이하인 경우는 binary class classification 으로 부른다. Categorical cross entropy 를 loss function 으로 사용한다. B.1) Multi class Loss loss function \log \operatorname{loss}= \frac{1}{N} \su...

collaborative filtering

...Encoder 각 사용자와 아이템에 대한 embedding 을 학습하기 위해 사용하는 function Loss Function Pointwise loss function: binary cross entropy, mean squared error Pairwise loss function: BPR Bayesian Personalized Ranking from Implicit Feedback N...

conditional entropy

...entropy and marginal entropy H(X,Y)=H(X)+H(Y\mid X) 2. Related Information theory, mutual information, cross entropy 3. References Information Theory — Sungjoo Ha

CTR prediction

CTR Prediction 굉작히 작은 prediction accuracy 상승이라도 이는 전체 매출에 큰 상승으로 이어진다. 수치로 따지면, 대략 1% 정도의 logloss (또는 AUC) 상승을 의미한다. 여러 딥러닝 모델들이 제안되어 왔고 산업적 CTR 예측 문제에서도 눈에 띄는 성과를 보였다. B) Data CTR 예측 문제에 사용되는 데이터는 대부분 t...

Generative Adversarial Network

...,G)=\mathbb{E} {x\sim\operatorname{P {data(x)}}}[\log D(x)]+\mathbb{E} {z\sim P z(z)}[\log(1 D(G(z)))] cross entropy 를 활용한 value function 이다. A.1) Notations y=1 은 실제 데이터, y=0 은 fake 데이터 D(x) 는 실제 데이터 x 에 대한 discriminato...

KL-Divergence

...t[\log\left(p\left(y {c}\right)\right) \log\left(q\left(y {c}\right)\right)\right]=H {p}(q) H(q) 보다시피, cross entropy 값에 entropy 값을 뺀 것이 KL Divergence 다. Cross entropy 의 값은 entropy 값보다 항상 크므로, KL Divergence 값은 0 보다 항상 크다...

loss function

...ra/L2 LossL2 Loss, machine learning/mean squared errorBinary / Multiclass Classificationlogistic loss, cross entropy확률 예측과 decision boundary 를 어떻게 맞출지Maximum margin Classificationhinge loss정답만 맞히는 것이 아니라 margin 을 확보할지Me...

negative sampling

...단어에 대해서 학습할 때, skip gram 은 V 만큼의 softmax 값을 계산해야 하지만, negative sampling 방식은 V 번의 binary classfication (cross entropy) 학습을 진행하면 되므로, 계산량이 현저히 줄어든다. B) 예시 그림과 같이 skip gram 의 (orange, juice) pair 에 대한 학습 과정에서, k 만큼 orange ...

perplexity

...이 아니라, ‘ 낮을수록 ’ 언어 모델의 성능이 좋다는 것을 의미한다는 점입니다. 이 perplexity 에 대한 다양한 수학적 정의가 있지만 우리가 사용할 것은 교차 엔트로피 손실 (cross entropy loss) 의 지수 (exponential) 로 정의합니다 (PPL=exp(Cross Entropy)). B) 정의 퍼플렉시티는 문장 확률을 문장의 길이(단어 수)로 정규화(norma...

Recurrent Neural Network

...d y^{\langle1\rangle},y^{\langle2\rangle}) 위와 같은 확률들은 softmax function 으로 표현되며, loss function 은 아래와 같이 cross entropy 형태로 계산된다. \begin{array}{l}\displaystyle\mathcal{L}\left(\hat{y}^{<t>},y^{<t>}\right)= \sum...