Logistic Loss
logistic regression 에서 사용하는 loss function 을 의미한다.
A.1) Logistic Loss Function 정의
는 모델의 출력값이고 는 true label 이라 한다면, logistic loss 는 다음과 같이 정의된다.
1 min read
logistic regression 에서 사용하는 loss function 을 의미한다.
f(xi,β) 는 모델의 출력값이고 yi 는 true label 이라 한다면, logistic loss 는 다음과 같이 정의된다.
log(1+exp(−yif(xi,β)))Example) Linear combination of a logistic loss and a hinge loss
...ssionlinearalgebra/L2 LossL2 Loss, machinelearₙᵢₙg/mean squared errorBinary / Multiclass Classificationlogistic loss, cross-entropy확률 예측과 decision boundary 를 어떻게 맞출지Maximum-margin Classificationhinge loss정답만 맞히는 것이 아니라 ...
Logistic Regression logistic regression model 은 classification 문제를 해결하는데 사용하는 모델이다.
Loss Function Loss function 은 모델의 예측이 정답과 얼마나 다른지를 숫자로 바꾸는 함수다. 학습은 보통 이 값을 줄이는 방향으로 parameter 를 업데이트하는 과정으로 볼 수 있다.
Cost Function 2.
Logit odds ratio 에 log 를 취한 값을 logit 이라고 부른다. logit 은 logistic regression 에 의해 유도될 수 있다. 다음과 같은 logistic regression 모델 h \theta(x) 가 있다고 가정하자.
Hinge Loss 분류기를 학습시키기 위해 사용되는 loss function Maximum-margin 분류 문제를 풀기 위해 주로 사용하며, 가장 유명한 것은 support vector machine.
Decision Boundary Decision boundary 는 label 값 y 가 0 인지 1 인지 결정하는 영역을 나누는 선이다.
Softmax Function class K>2 의 경우에서 generalized linear model (reference) \displaystyle p\left(C {k}\mid\mathbf{x}\right)=\frac{p\left(\mathbf{x}\mid C {k}\right)p\left(C...
Cross-entropy 우리가 예측 모형을 build 하는 이유는 불확실성을 제어하고자 하는 것이다. 이때, 예측 모형은 실제 분포인 q 를 모르고, 모델링을 하여 q 분포를 예측하고자 하는 것이다. 예측 모델링을 통해 구한 분포를 p 라고 해보자.
Machine Learning deep Learning 과 달리 structured data 가 필요한 학습 모델 2.
Elastic Net ridge 과 lasso regression 을 합친 하이브리드 선형 모델 \mathcal{L}\left(\boldsymbol{w}, \lambda {1}, \lambda {2}\right)=\|\boldsymbol{y}-\mathbf{X} \boldsymbol{w}\|^{2}+\lambda...