Bayesian Optimization

베이지안 최적화는 평가 비용이 높은 함수의 이전 평가 결과를 학습하여 높은 성능을 내는 설정을 찾는 방법입니다. 입력이 결과에 미치는 영향을 확률 모델로 구성한 다음, 이 모델을 사용해 다음 실험을 선택합니다. 머신러닝에서는 제한된 계산 예산 내에서 우수한 학습 구성을 찾는 데 유용합니다.

기초 연구로는 Harold Kushner의 1964년 순차 탐색 방법과 Jonas Mockus의 1975년 베이지안 극값 탐색 정식화가 있습니다. 오늘날 베이지안 최적화는 하이퍼파라미터 튜닝과 자동 머신러닝의 핵심 기법입니다.

베이지안 최적화의 작동 방식#

목적 함수는 후보 구성의 품질을 측정합니다. 모델 학습에서는 선택한 하이퍼파라미터로 학습을 수행하고 검증 데이터에서 성능을 측정하여 평가합니다. 조정 가능한 입력에는 학습률, 배치 크기, 정규화 강도가 포함됩니다.

대리 모델은 목적 함수를 계산 비용이 더 낮게 근사한 모델입니다. 일반적으로 가우시안 프로세스를 사용합니다. 이는 가능한 함수에 대한 확률 분포로, 결과와 그 불확실성을 모두 예측합니다. 베이지안 업데이트는 사전 가정과 관측된 평가 결과를 결합하여 사후 분포를 생성합니다. 획득 함수는 이 분포를 사용해 다음 후보를 선택합니다. 측정된 결과는 대리 모델에 다시 반영되며, 평가 예산이 소진될 때까지 이 과정이 반복됩니다.

이는 머신러닝 기반 최적화 접근법으로, 대리 모델이 구성과 결과의 쌍을 학습합니다. 불확실성 정량화를 통해 추가로 측정할 가치가 있는 항목을 판단할 수 있습니다.

획득 함수와 탐색#

후보 선택에서는 성능이 좋을 것으로 예측되는 설정을 우선하는 활용과 불확실한 영역을 조사하는 탐색 사이에서 균형을 맞춥니다. 일반적인 획득 함수는 이 균형을 서로 다른 방식으로 표현합니다.

• 기대 개선(Expected Improvement, EI): 후보가 기준 결과보다 개선될 것으로 기대되는 정도를 점수화합니다.
• 개선 확률(Probability of Improvement, PI): 후보가 지정된 기준 차이만큼 기준 결과를 초과할 확률을 점수화합니다.
• 상한 신뢰 경계(Upper Confidence Bound, UCB): 최대화 문제에서는 예측 평균에 불확실성 보너스를 더해 불확실한 후보에 추가 우선순위를 부여합니다.

이러한 획득 전략은 모델 학습이나 실제 실험에 비해 평가 비용이 낮습니다. 획득 전략을 최적화하면 다음에 수행할 비용이 큰 평가가 결정됩니다.

머신러닝 및 컴퓨터 비전 분야의 응용#

개별 평가에 상당한 시간이 소요되고 탐색에 포함되는 영향력 있는 변수가 적당한 수로 제한되는 경우 베이지안 최적화가 특히 유용합니다. 대표적인 응용 분야로는 엔지니어링 설계, 재료 실험, 강화 학습 컨트롤러 튜닝이 있습니다.

컴퓨터 비전에서는 합성곱 신경망의 학습 설정을 선택하는 데 사용됩니다. Jasper Snoek, Hugo Larochelle, Ryan P. Adams는 2012년 실용 베이지안 최적화 알고리즘에서 이 응용을 시연했으며, 구조화된 서포트 벡터 머신과 토픽 모델도 함께 튜닝했습니다.

Ultralytics YOLO는 Ray Tune 통합을 통해 베이지안 탐색을 지원합니다. use_ray=True 및 search_alg="bayesopt"를 설정하면 학습 하이퍼파라미터에 베이지안 최적화가 선택됩니다. YOLO26 객체 탐지의 경우, 탐색은 해당 작업의 기본 평균 정밀도 지표를 최대화합니다.

관련 방법 및 Optuna#

그리드 탐색은 미리 정의된 조합 모음을 평가하고, 무작위 탐색은 구성을 서로 독립적으로 샘플링합니다. 베이지안 최적화는 이전 결과를 사용해 다음 선택을 안내합니다. 경사 하강법은 도함수를 사용해 파라미터를 업데이트하지만, 베이지안 최적화는 평가 결과와 대리 모델을 통해 비용이 큰 블랙박스 목적 함수를 처리합니다.

Optuna의 샘플링 알고리즘에는 가우시안 프로세스 베이지안 최적화, 무작위 샘플링, 트리 구조 파젠 추정기(TPE)가 포함됩니다. TPE는 더 나은 결과와 더 나쁜 결과에 해당하는 파라미터 분포를 모델링한 다음, 두 분포의 밀도 비율이 더 큰 후보를 우선합니다. Optuna는 최적화 프레임워크이며, 선택한 샘플러가 탐색 전략을 결정합니다.

Python 예제#

bayesian-optimization을 pip install bayesian-optimization로 설치합니다. 이 예제는 패키지의 최적화 입문 예제에 있는 목적 함수와 경계를 사용합니다.

from bayes_opt import BayesianOptimization


def objective(x, y):
    """Return the objective value to maximize."""
    return -(x**2) - (y - 1) ** 2 + 1


optimizer = BayesianOptimization(
    f=objective,
    pbounds={"x": (2, 4), "y": (-3, 3)},
    random_state=1,
    verbose=0,
)
optimizer.maximize(init_points=2, n_iter=15)
best = optimizer.max
print(f"Best objective: {best['target']:.4f}")

출력에는 무작위 평가 2회와 획득 함수의 안내에 따른 평가 15회 후 측정된 최적 목적 함수 값이 표시됩니다. 이 경계 내에서 정확한 최댓값은 -3이며, 해당 위치는 x=2, y=1입니다.