[Boostcamp Day-76] 작은 모델, 좋은 파라미터 찾기 AutoML 이론

AutoML

• 일반적인 AutoML

• Bayesian Oprimization(BO)

1. $\lambda$(아래 그림의 x)를 sample(observation)
2. 해당 sample(configuration)로 DL 모델을 학습
3. objective를 계산(아래 그림의 빨간색 Point)
4. Surrogate model 업데이트 (아래 그림의 실전, 파란 영역)
5. Acquisition function 업데이트 (아래 그림의 초록 영역)

• GPR, TPE

Reference

1. GPR
2. TPE
3. TPE