Observability

Observability refers to the capability of understanding the internal state of a complex system based solely on its external outputs. In the rapidly evolving fields of Artificial Intelligence (AI) and Machine Learning (ML), observability goes beyond simple status checks to provide deep insights into why a model behaves in a certain way. As modern Deep Learning (DL) architectures—such as the state-of-the-art YOLO26—become increasingly sophisticated, they can often function as "black boxes." Observability tooling creates a transparent window into these systems, allowing engineering teams to debug unexpected behaviors, trace the root causes of errors, and ensure reliability in production environments.

Link to this section관측 가능성 대 모니터링#

관측 가능성과 **모델 모니터링**은 종종 혼용되지만, MLOps 라이프사이클 내에서 서로 구별되면서도 상호 보완적인 목적을 수행합니다.

• **모델 모니터링**은 반응적이며 "알고 있는 미지수(known unknowns)"에 초점을 맞춥니다. 이는 추론 지연 시간(inference latency), CPU 사용량, 또는 오류율과 같은 사전 정의된 메트릭을 설정된 임계값과 비교하여 추적하는 것을 포함합니다. 모니터링은 "시스템이 정상인가?"라는 질문에 답합니다.
• 관측 가능성은 선제적이며 "알려지지 않은 미지수(unknown unknowns)"를 다룹니다. 이는 학습 데이터 준비 과정에서 예상치 못한 새로운 문제를 조사하는 데 필요한 세분화된 데이터(로그, 트레이스, 높은 카디널리티 이벤트)를 제공합니다. **Google SRE Book**에서 설명하는 것처럼, 관측 가능한 시스템은 새로운 코드를 배포하지 않고도 새로운 동작을 이해할 수 있게 합니다. 이는 "시스템이 왜 이런 방식으로 작동하는가?"라는 질문에 답합니다.

Link to this section관측 가능성의 3대 요소#

컴퓨터 비전(CV) 파이프라인에서 진정한 관측 가능성을 달성하기 위해, 시스템은 일반적으로 다음 세 가지 주요 유형의 텔레메트리 데이터에 의존합니다:

1. 로그(Logs): 개별 이벤트에 대한 타임스탬프가 포함된 변경 불가능한 기록입니다. 탐지 파이프라인에서 로그는 입력 이미지 해상도나 실행 중에 사용된 특정 하이퍼파라미터 튜닝 구성을 캡처할 수 있습니다. 흔히 JSON 형식으로 작성되는 구조화된 로그는 복잡한 쿼리와 분석을 가능하게 합니다.

2. 메트릭(Metrics): 평균 정밀도(precision), 메모리 소비량 또는 GPU 활용률과 같이 시간에 따라 집계된 수치 데이터입니다. Prometheus 및 **Grafana**와 같은 도구는 이러한 시계열 데이터를 저장하여 추세를 시각화하는 표준입니다.

3. 트레이스(Traces): 트레이싱은 요청이 다양한 마이크로서비스를 통과하며 흐르는 라이프사이클을 따릅니다. 분산형 AI 애플리케이션의 경우 **OpenTelemetry**와 같은 표준이 요청 경로를 매핑하여 **추론 엔진(inference engine)**의 병목 현상이나 네트워크 지연을 강조하는 데 도움을 줍니다. **Jaeger**와 같은 전문 도구는 이러한 분산 트랜잭션을 시각화하는 데 유용합니다.

Link to this sectionPython에서 관측 가능성 구현하기#

콜백을 사용하여 특정 내부 상태를 기록함으로써 학습 파이프라인의 관측 가능성을 향상시킬 수 있습니다. 다음 예제는 YOLO26 학습 세션에 사용자 지정 콜백을 추가하여 성능 메트릭을 실시간으로 모니터링하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")


# Define a custom callback for observability
def on_train_epoch_end(trainer):
    # Access and print specific metrics at the end of each epoch
    map50 = trainer.metrics.get("metrics/mAP50(B)", 0)
    print(f"Observability Log - Epoch {trainer.epoch + 1}: mAP50 is {map50:.4f}")


# Register the callback and start training
model.add_callback("on_train_epoch_end", on_train_epoch_end)
model.train(data="coco8.yaml", epochs=3)

Link to this section실제 애플리케이션 사례#

관측 가능성은 **테스트 데이터**가 실제 환경 조건과 완벽하게 일치하지 않을 수 있는 동적 환경에서 고성능 모델을 배포하는 데 매우 중요합니다.

• 자율주행 차량: 자율주행 차량 개발에서 관측 가능성을 통해 엔지니어는 제어 해제 이벤트 발생 시 시스템의 정확한 상태를 재구성할 수 있습니다. 객체 탐지(object detection) 출력값을 센서 로그 및 제어 명령과 연관시킴으로써, 팀은 제동 오류가 센서 노이즈, 모델 예측 결함 또는 계획 모듈의 로직 오류 중 무엇 때문에 발생했는지 파악할 수 있습니다.
• 의료 진단: **의료 분야의 AI**에서 일관된 성능을 보장하는 것은 환자 안전을 위해 필수적입니다. 관측 가능성 도구는 모델이 새로운 유형의 MRI 스캐너 이미지에 적용될 때 성능이 저하되는 경우 **데이터 드리프트(data drift)**를 감지할 수 있습니다. 트레이스를 통해 문제가 이미지 **데이터 전처리(data preprocessing)**의 변경에서 기인한 것인지, 아니면 입력 분포의 변화에서 기인한 것인지 밝혀낼 수 있으며, 이를 통해 **AI 안전**을 저해하지 않으면서 신속한 수정이 가능합니다.

Link to this section최신 도구와의 통합#

최신 워크플로우는 종종 관측 가능성을 학습 플랫폼에 직접 통합합니다. Ultralytics Platform 사용자는 손실 곡선, 시스템 성능 및 데이터셋 분석의 내장된 시각화 기능을 활용할 수 있습니다. 또한 TensorBoard 및 **MLflow**와 같은 도구와의 표준 통합을 통해 데이터 과학자는 전체 모델 라이프사이클 전반에 걸쳐 엄격한 실험 추적과 관측 가능성을 유지할 수 있습니다.