values are shifted and rescaled so that they end up ranging from 0 to 1.
We do this by subtracting the min value and dividing by the max minus the min.
단점
outlier 에 취약한 편이다. 반대로, standardization is much less affected by outliers.
values are shifted and rescaled so that they end up ranging from 0 to 1.
We do this by subtracting the min value and dividing by the max minus the min.
x′=max(x)−min(x)x−min(x)outlier 에 취약한 편이다. 반대로, standardization is much less affected by outliers.
...맥에 따라 의미가 조금 달라서, 실제로 어떤 변환을 말하는지 확인해야 한다. Feature scaling 문맥에서 normalization 이라고 하면 보통 값을 특정 범위로 맞추는 min-max scaling 을 가리키는 경우가 많다. Standardization 과 구분 standardization 은 평균을 빼고 표준편차로 나누어 z-score 로 바꾸는 방법이다.
...re 라고도 부른다. Normalization 과 구분 Normalization 은 문맥에 따라 넓게 쓰이는 말이라 혼동이 자주 생긴다. feature scaling 문맥에서는 보통 min-max scaling 처럼 값을 특정 범위로 맞추는 방법을 가리키고, 통계 문맥에서는 standardization 을 z-score normalization 이라고 부르기도 한다.
Normalization 은 데이터의 scale 을 맞추는 전처리를 넓게 부르는 말이다. 문맥에 따라 의미가 조금 달라서, 실제로 어떤 변환을 말하는지 확인해야 한다.
Standardization 은 feature 를 평균 0, 표준편차 1의 스케일로 바꾸는 전처리다. 서로 다른 단위의 feature 를 같은 좌표계에서 비교해야 하는 선형 모델, 거리 기반 모델, gradient 기반 최적화에서 특히 중요하다.
outlier is a point for which y_i is far from the value predicted by the model.
결측값 처리는 데이터 전처리 단계에서 매우 중요합니다. 대표적인 접근 방식은 다음과 같습니다.
데이터를 줄여서 샘플링하는 방법이다.
통계적 기법이나 알고리즘을 이용하여 feature 간 상관 관계를 계산함
overfitting 에 대응하기 위해서는 많은 training data 를 이용해서 학습하는 것이 좋다. 특히, 이미지 데이터의 경우, 기존 이미지를 변형해서 새로운 이미지 학습 데이터를 만들 수 있다. 이러한 이미지 변형 과정을 통해 얻어진 이미지는 완전히 새로운 학습 데이터를 얻는 것보다는 학습 효과가 덜...
데이터가 불균형한 분포를 가지는 경우, 모델의 학습이 제대로 이루어지지 않을 확률이 높습니다.
값이 순서 없는 몇 개의 범주 중 하나인 feature 다. 색상( red / blue ), 지역 코드, 사용자 등급 같은 것이 여기 들어간다. 값 사이에 크기 비교가 성립하지 않으므로 숫자로 그냥 바꿔 넣으면 모델이 없는 순서를 학습한다. 그래서 Label Encoding 이나 one-hot 처럼 표현 방식을...
데이터를 정규 분포 에 가깝게 만들어 주는 변환 방법