Parameter
관측 불가능한 variables 의 집합 (반대: data)
B) In Statistic
모집단에서 계산될 수 있는 통계치를 parameter 라 부르며, 표본집단에서 계산될 수 있는 통계치를 statistic 이라 부른다.
B.1) 예시
모집단의 평균 는 parameter, 표본집단의 평균 는 statistic
1 min read
관측 불가능한 variables 의 집합 (반대: data)
모집단에서 계산될 수 있는 통계치를 parameter 라 부르며, 표본집단에서 계산될 수 있는 통계치를 statistic 이라 부른다.
모집단의 평균 μ 는 parameter, 표본집단의 평균 xˉ 는 statistic
In Statistic 관측 가능한 variable 의 집합 opposite word: parameter
Fine-tuning 파인 튜닝 방식은 모델의 모든 parameter 를 학습시키는 방법이다. 해당 학습과 다른 방식으로는 linear probing 방식이 있다. 2. Related 3. References
Gradient Descent ML 모델 h 에 대한 적합한 (θᵢ 와 같은) parameter 를 찾기 위한 방법 B) Visualization of Gradient Descent
학습의 목적이 최적의 parameters 를 추정하는 학습을 의미한다. 즉, 모델을 구축하기 때문에 새로운 데이터가 입력으로 들어왔을 때, 알고리즘을 처음부터 재시작할 필요성이 없다. 예) Principal Component A...
...라, 분류 학습에서 쓰는 cross-entropy loss가 바로 이 NLL이다. B) 유도 — MLE에서 NLL까지 machine learning은 주어진 데이터만으로 미지의 최적 모델 parameter θ를 찾아야 한다. classification 문제에서, 입력값 X와 parameter θ가 주어졌을 때 정답 Y가 나타날 확률을 likelihood(우도) P(Y| X;θ)로 표현할 수...
Transductive 학습의 목적이 parameters 가 아닌 학습을 의미한다.즉, 모델을 구축하지 않아서 새로운 데이터가 입력으로 들어왔을 때, 알고리즘을 처음부터 재학습할 필요성이 존재한다. 예) t-SNE 는 고차원 데이터에 대한 최적...
한줄 요약 Negative Log Likelihood(NLL)는 “모델이 정답에 부여한 확률이 낮을수록 커지는 벌점” 이다. 모델이 정답을 확률 1로 맞히면 벌점 0, 정답에 확률을 거의 안 줬으면 벌점이 무한대로 치솟는다.
In Statistic 관측 가능한 variable 의 집합 opposite word: parameter.
Variance variance 는 평균에서 얼마나 벗어난 것인지의 정도를 측정한 값이다. 랜덤 변수 X 에 대한 Variance 는 expectation 을 활용하면 다음과 같이 두가지 방식으로 표현될 수 있다.
Residual Plot y 축은 residual e {i}=y {i}-\hat{y} {i} 이고, x 축 \hat{y} {i} 인 그래프 예시 아래 그림에서 residual plot 은 U- 모양을 그리고 있다.
Residual Sum of Squares estimation 과 실제 값의 차이의 제곱에 대한 합을 나타낸다.
Standard Error 표준 오차란, 표본 집단에서 계산할 수 있는 통계 (e.g. 평균) 를 여러번 계산했을 때, 모집단에서 계산할 수 있는 통계와의 편차의 정도를 의미한다. 정의에서 보아도 알 수 있듯이 당연하게도 모평균의 표준오차라는 말은 존재하지 않는다.
Outlier outlier is a point for which y i is far from the value predicted by the model.
Collinearity predictor variable 들이 완벽하거나 거의 완벽에 가까운 상관성을 갖는다고 할 때, regression 은 다중공선성 문제를 가지고 있다고 말할 수 있다. 회귀 분석에서는 다중공선성 문제가 사라질 때까지 변수를 제거해야 한다.
Likelihood likelihood 는 Probability 와 반대되는 개념으로, 랜덤 변수 X 에 따른 샘플 x 이 주어졌을 때, 랜덤 변수가 따르는 parameter 가 \theta 될 확률을 의미한다.
Bias bias 는 데이터 내에 있는 모든 정보를 고려하지 않음으로 인해, 지속적으로 잘못된 것들을 학습하는 경향을 말한다. 어떤 모델을 학습시켰을 경우, 그 모델이 예측한 값과 실제 정답이 얼마나 멀리있는지를 나타내는가 생각해보면 된다.