관측 불가능한 variables 의 집합 (반대: data)
In Statistic
모집단에서 계산될 수 있는 통계치를 parameter 라 부르며, 표본집단에서 계산될 수 있는 통계치를 statistic 이라 부른다.
예시
모집단의 평균 는 parameter, 표본집단의 평균 는 statistic
관측 불가능한 variables 의 집합 (반대: data)
모집단에서 계산될 수 있는 통계치를 parameter 라 부르며, 표본집단에서 계산될 수 있는 통계치를 statistic 이라 부른다.
모집단의 평균 μ 는 parameter, 표본집단의 평균 xˉ 는 statistic
In Statistic 관측 가능한 variable 의 집합 opposite word: parameter
Fine-tuning 파인 튜닝 방식은 모델의 모든 parameter 를 학습시키는 방법이다. 해당 학습과 다른 방식으로는 linear probing 방식이 있다.
ML 모델 h 에 대한 적합한 (θ_i 와 같은) parameter 를 찾기 위한 방법 Visualization of Gradient Descent
학습의 목적이 최적의 parameters 를 추정하는 학습을 의미한다. 즉, 모델을 구축하기 때문에 새로운 데이터가 입력으로 들어왔을 때, 알고리즘을 처음부터 재시작할 필요성이 없다. 예) machine_learning/dime...
...포장이라, 분류 학습에서 쓰는 cross-entropy loss가 바로 이 NLL이다. 유도 — MLE에서 NLL까지 machine learning은 주어진 데이터만으로 미지의 최적 모델 parameter θ를 찾아야 한다. classification 문제에서, 입력값 X와 parameter θ가 주어졌을 때 정답 Y가 나타날 확률을 likelihood(우도) P(Y| X;θ)로 표현할 수...
학습의 목적이 parameters 가 아닌 학습을 의미한다.즉, 모델을 구축하지 않아서 새로운 데이터가 입력으로 들어왔을 때, 알고리즘을 처음부터 재학습할 필요성이 존재한다. 예) t-SNE 는 고차원 데이터에 대한 최적...
Negative Log Likelihood(NLL)는 "모델이 정답에 부여한 확률이 낮을수록 커지는 벌점" 이다. 모델이 정답을 확률 1로 맞히면 벌점 0, 정답에 확률을 거의 안 줬으면 벌점이 무한대로 치솟는다.
관측 가능한 variable 의 집합
variance 는 평균에서 얼마나 벗어난 것인지의 정도를 측정한 값이다.
표준 오차란, 표본 집단에서 계산할 수 있는 통계 (e.g. 평균) 를 여러번 계산했을 때, 모집단에서 계산할 수 있는 통계와의 편차의 정도를 의미한다.
estimation 과 실제 값의 차이의 제곱에 대한 합을 나타낸다.
y 축은 residual e_{i}=y_{i}-\hat{y}_{i} 이고, x 축 \hat{y}_{i} 인 그래프
outlier is a point for which y_i is far from the value predicted by the model.
predictor variable 들이 완벽하거나 거의 완벽에 가까운 상관성을 갖는다고 할 때, regression 은 다중공선성 문제를 가지고 있다고 말할 수 있다.
파인 튜닝 방식은 모델의 모든 parameter 를 학습시키는 방법이다.
likelihood 는 Probability 와 반대되는 개념으로, 랜덤 변수 X 에 따른 샘플 x 이 주어졌을 때, 랜덤 변수가 따르는 parameter 가 \theta 될 확률을 의미한다. 이는 주로 \mathcal{L}(\theta\mid x) 로 표현한다.