0 min read
Hyperparameter Optimization Random search Bayesian Optimization
Hyperparameter Optimization Grid Search Bayesian Optimization
Random Search Random Search 는 hyperparameter 탐색 공간에서 조합을 무작위로 sampling 해서 평가하는 방법이다. 모든 조합을 훑는 Grid Search 와 달리, 주어진 budget 안에서 다양한 영역을 넓게 찍어본다.
Grid Search Grid Search 는 후보 hyperparameter 값들을 미리 정해두고, 가능한 조합을 모두 평가해서 가장 좋은 조합을 찾는 방법이다.
하이퍼파라미터 최적화 A.1) 목적 머신러닝에서 하이퍼파라미터 최적화의 목표는 주어진 머신러닝 알고리즘의 하이퍼파라미터를 찾아 검증 세트에서 최고의 성능을 내는 것입니다.
.
Adam B) Related C) References.
p(y\mid\boldsymbol{x};\boldsymbol{\theta})=\operatorname{Ber}\left(y\mid\boldsymbol{\sigma}\left(\boldsymbol{w}^{\top}\boldsymbol{x}+b\right)\right) .
Hyperparameter 주로 최적화하는 Hyperparameter 들 Learning rate \alpha 가장 중요한 hyperparameter Number of layers Number of hidden units Learning rate decay Mini-batch size Momentum term...