먼저 Bayesian Optimization은 뭘까? 머신러닝이나 딥러닝모델들의 parameter를 optimize하기 위해 여러 실험을 해야 되는데 이런 귀차니즘을 해결할 수 있는 알고리즘이 bayesian optimization이다. 최적화된 hyperparameter값을 찾아주는 알고리즘으로 최고의 성능을 도출해준다고 보면 된다. (조금 더 구체적인 개념으로는 gaussian process regression 방법을 활용해 사후확률을 가장 잘 예측하도록 최적화하는 방법이다.) 본격적으로 Bayesian optimization을 알아보기 전에 관련된 기본용어 및 개념에 대해 알아보자! 보통 알려진 최적화된 Hyperparameter을 찾는 3가지 방법으로는 Grid Search, Random sear..
