logistic regression 에서 사용하는 loss function 을 의미한다.
Logistic Loss Function 정의
는 모델의 출력값이고 는 true label 이라 한다면, logistic loss 는 다음과 같이 정의된다.
logistic regression 에서 사용하는 loss function 을 의미한다.
f(xi,β) 는 모델의 출력값이고 yi 는 true label 이라 한다면, logistic loss 는 다음과 같이 정의된다.
log(1+exp(−yif(xi,β)))Example) Linear combination of a logistic loss and a hinge loss
...inear_algebra/L2 Loss, mean squared error (MSE)큰 오차에 더 큰 penalty 를 줄지Binary / Multiclass Classificationlogistic loss, cross-entropy확률 예측과 decision boundary 를 어떻게 맞출지Maximum-margin Classificationhinge loss정답만 맞히는 것이 아니라 ...
Loss function 은 모델의 예측이 정답과 얼마나 다른지를 숫자로 바꾸는 함수다. 학습은 보통 이 값을 줄이는 방향으로 parameter 를 업데이트하는 과정으로 볼 수 있다.
logistic regression model 은 classification 문제를 해결하는데 사용하는 모델이다. Logistic 모델 h \theta(x) 는 linear model 을 다음 식과 같이 non-linear model 로 바꾼 것과 같다.
Cost Function 을 최소화 한다는 것의 직관적 이해 linear regression 의 Cost Function J(\theta 0,\theta 1) 가설 h 의 정확도를 측정하기 위해 사용하는 함수 \displaystyle \underset{\theta 0,\theta 1}{minimize}\...
분류기를 학습시키기 위해 사용되는 loss function Maximum-margin 분류 문제를 풀기 위해 주로 사용하며, 가장 유명한 것은 support vector machine.
우리가 예측 모형을 build 하는 이유는 불확실성을 제어하고자 하는 것이다. 이때, 예측 모형은 실제 분포인 q 를 모르고, 모델링을 하여 q 분포를 예측하고자 하는 것이다. 예측 모델링을 통해 구한 분포를 p 라고 해보자.
확률 예측에 적용한 제곱오차 Brier loss는 예측 확률과 실제 정답 사이의 제곱오차 다. MSE를 확률 예측에 적용한다고 생각하면 된다. 정답 label만 맞혔는지 보는 accuracy와 달리, 정답에 얼마만큼 확률을 줬는지도 평가한다.
Decision boundary 는 label 값 y 가 0 인지 1 인지 결정하는 영역을 나누는 선이다.
odds ratio 에 log 를 취한 값을 logit 이라고 부른다. logit 은 logistic regression 에 의해 유도될 수 있다. 다음과 같은 logistic regression 모델 h \theta(x) 가 있다고 가정하자.
class K>2 의 경우에서 generalized linear model (reference) \displaystyle p\left(C {k}\mid\mathbf{x}\right)=\frac{p\left(\mathbf{x}\mid C {k}\right)p\left(C {k}\right)}{\sum...
linear regression 에서 Y=\beta {0}+X {1}\beta {1}+\cdots+X {p}\beta {p}+\epsilon 여기서 에러 \epsilon 를 의미한다.