logistic regression 에서 사용하는 loss function 을 의미한다.
Logistic Loss Function 정의
는 모델의 출력값이고 는 true label 이라 한다면, logistic loss 는 다음과 같이 정의된다.
1 min read
logistic regression 에서 사용하는 loss function 을 의미한다.
f(xi,β) 는 모델의 출력값이고 yi 는 true label 이라 한다면, logistic loss 는 다음과 같이 정의된다.
log(1+exp(−yif(xi,β)))Example) Linear combination of a logistic loss and a hinge loss
...inear_algebra/L2 Loss, mean squared error (MSE)큰 오차에 더 큰 penalty 를 줄지Binary / Multiclass Classificationlogistic loss, cross-entropy확률 예측과 decision boundary 를 어떻게 맞출지Maximum-margin Classificationhinge loss정답만 맞히는 것이 아니라 ...
Loss function 은 모델의 예측이 정답과 얼마나 다른지를 숫자로 바꾸는 함수다. 학습은 보통 이 값을 줄이는 방향으로 parameter 를 업데이트하는 과정으로 볼 수 있다.
logistic regression model 은 classification 문제를 해결하는데 사용하는 모델이다. Logistic 모델 h \theta(x) 는 linear model 을 다음 식과 같이 non-linear model 로 바꾼 것과 같다.
Cost Function 을 최소화 한다는 것의 직관적 이해 linear regression 의 Cost Function J(\theta 0,\theta 1) 가설 h 의 정확도를 측정하기 위해 사용하는 함수 \displaystyle \underset{\theta 0,\theta 1}{minimize}\...
분류기를 학습시키기 위해 사용되는 loss function Maximum-margin 분류 문제를 풀기 위해 주로 사용하며, 가장 유명한 것은 support vector machine.
우리가 예측 모형을 build 하는 이유는 불확실성을 제어하고자 하는 것이다. 이때, 예측 모형은 실제 분포인 q 를 모르고, 모델링을 하여 q 분포를 예측하고자 하는 것이다. 예측 모델링을 통해 구한 분포를 p 라고 해보자.
Decision boundary 는 label 값 y 가 0 인지 1 인지 결정하는 영역을 나누는 선이다.
odds ratio 에 log 를 취한 값을 logit 이라고 부른다. logit 은 logistic regression 에 의해 유도될 수 있다. 다음과 같은 logistic regression 모델 h \theta(x) 가 있다고 가정하자.
class K>2 의 경우에서 generalized linear model (reference) \displaystyle p\left(C {k}\mid\mathbf{x}\right)=\frac{p\left(\mathbf{x}\mid C {k}\right)p\left(C {k}\right)}{\sum...
linear regression 에서 Y=\beta {0}+X {1}\beta {1}+\cdots+X {p}\beta {p}+\epsilon 여기서 에러 \epsilon 를 의미한다.
deep Learning 과 달리 structured data 가 필요한 학습 모델 Machine Learning Model Representation 위 그림의 h 는 가설 (hypothesis) 을 뜻함 h:X\rightarrow Y X 는 입력 데이터 공간 (space), Y 는 출력 데이터 공간.