- p(y∣x;θ)=Ber(y∣σ(w⊤x+b))
1 min read
Sequential logistic regression, Decision boundary, odds ratio, binary logistic regression
logistic regression model 은 classification 문제를 해결하는데 사용하는 모델이다. Logistic 모델 h \theta(x) 는 linear model 을 다음 식과 같이 non-linear model 로 바꾼 것과 같다.
References en.wikipedia.org/wiki/Poisson regression .
probit model 은 regression 의 종류 중 하나로, 출력값 (dependent variable) 이 binary 형식을 띄는 모델을 의미한다.
odds ratio 에 log 를 취한 값을 logit 이라고 부른다. logit 은 logistic regression 에 의해 유도될 수 있다. 다음과 같은 logistic regression 모델 h \theta(x) 가 있다고 가정하자.
Bayesian 형식으로 표현된 logistic regression 의 likelihood 는 다음과 같다.
회귀는 예측하는 함수를 만드는 것이다. 예측하려는 데이터의 종류가 numerical 또는 categorical data 에 따라서 사용하는 알고리즘이 달라진다.
inverse of activation function 을 의미한다. 예를 들어 logit 은 sigmoid 함수의 inverse 이고, probit 은 가우시안 분포의 CDF 함수의 inverse 를 의미한다.
logistic regression 에서 사용하는 loss function 을 의미한다.
ridge regression 과 달리 L1-norm 을 regularization term 으로 사용하는 linear 모델이다.
polynomial functions of the predictors in the linear regression model Interaction Effect 그냥 단순히 변수들을 additive 하게 나열하는 것보다, 변수간 관계를 생각해서 섞는게 효과가 좋을 수 있다.