Zzong's Notes

machine learning engineer

2 min read

자격 요건

배달의 민족

  • 강한 수학적 백그라운드와 경험
  • 3 년 이상 경력 (비즈니스 문제를 해결 & 머신러닝 적용)
  • 높은 이해력
    • 통계적 접근법
    • Operations Research
    • 머신러닝 알고리즘에 대한 수학적 기초
  • 논문이나 기술들을 빠르게 프로토타이핑할 수 있는 문제해결 능력
    • 주로 빠르게 변화하는 비즈니스 및 데이터 프로덕션 환경에서 서비스를 개선하는 데 도움이 되는 기술들
  • 커뮤니케이션 스킬
    • 논리적인 사고에 기반해 도메인에서 데이터가 의미하는 바를 연결하여 명확한 의사소통 및 문서화할 수 있으신 분
  • SQL/R/Python/Spark 언어를 활용한 데이터 정제, 분석, 모델링, 시각화할 수 있는 프로그래밍 경험을 보유하신 분
  • 빠른 주기로 순환하는 디지털 프로덕트 개발과 운영을 경험

역량 강화

(1) 배민 DS

여러 다양한 상황에서 어떤 방향과 방식으로 데이터를 다루는지에 대한 아이디어를 많이 가지고 있는 것이 도움이 된다고 생각해요.

  • 다양한 분야의 데이터 분석 및 모델링 기본서
  • 미디엄이나 캐글에서 잘 작성된 문서와 코드들을 자주 살펴보곤 합니다.

함께 보면 좋은 글

machine learning

deep Learning 과 달리 structured data 가 필요한 학습 모델 Machine Learning Model Representation 위 그림의 h 는 가설 (hypothesis) 을 뜻함 h:X\rightarrow Y X 는 입력 데이터 공간 (space), Y 는 출력 데이터 공간.

metric learning

정의 metric learning 은 데이터 포인트 간의 거리를 측정하는 방법을 학습하는 기법입니다.

downsampling

데이터를 줄여서 샘플링하는 방법이다. Apply with cross-validation K-fold validation 을 적용할때 downsampling 을 적용하는 기법은 학습 데이터 (in-fold data) 만 일부 샘플링하여 적용하는 것이다.

Rules of ML

구글에서 제공하는 머신러닝을 활용할때 알아야할 규칙들 좋은 product 를 만들기 위해서는 “”. ? Before Machine Learning (1) ML 없이 product 를 런칭하는 것을 두려워 하지 말라. ML 은 좋지만 데이터가 필요하다.

Lazy learning

Training data 전체를 메모리상에 보관하면서 test 데이터가 새로 들어왔을 때 바로 학습하는 방법 장점 추가적인 학습 시간 없이, 곧바로 학습 결과를 얻을 수 있다.

overfitting

Overfitting 이란 모델이 특정 데이터 셋에 과도하게 적합된 것을 의미 Overfitting 문제를 완화하기 위한 접근들 더 많은 training data Data Augmentation regularization dropout Early Stopping .

Eager Learning

일반적인 학습 과정으로, training 데이터로 일정 기간 학습시킨 후, 학습시킨 모델을 기반으로 테스트 데이터를 적용하는 방법 training 데이터는 학습 시에만 메모리에 보관되며 학습 이후에는 training 데이터를 메모리에서 제거한다.

Data Bias

Data Bias 란 수집된 학습 데이터의 분포가 이상적인 테스트 데이터의 분포와 다른 것을 의미한다. 아무리 많은 데이터를 수집하더라도, 분포 자체가 다르면 estimation 과 optimal function 간 gap 이 생길 수 밖에 없다.

Learning-to-Rank

Learning-to-rank(LTR) 은 기계학습 알고리즘을 통해 주어진 아이템들에 대한 optimal ordering 을 찾는 방식 LTR Methods LTR 에는 두가지 방법이 있다.

manifold

manifold 의 정의 고차원의 데이터를 저차원으로 옮길 때 데이터를 잘 설명하는 집합의 모형 매니폴드 가정 (manifold Hypothesis (assumption) 고차원의 데이터의 밀도는 낮지만, 이들의 집합을 포함하는 저차원의 manifold(subspace) 가 있다는 가정 Natural data...