Data Annotation

데이터 어노테이션은 지도 학습 모델이 원시 데이터에서 학습할 수 있도록 이미지의 클래스 이름, 각 객체를 둘러싼 박스나 폴리곤, 신체의 키포인트 또는 텍스트 구간의 태그와 같은 정답 정보를 원시 데이터에 추가하는 과정입니다. 데이터 라벨링과 동의어이며, 컴퓨터 비전 팀은 박스나 마스크처럼 그려진 기하 도형을 가리킬 때 주로 어노테이션이라는 용어를 사용합니다. 어노테이션은 사람이 그리거나 모델이 생성하는 기하 도형 또는 태그와 이를 학습에 사용할 수 있도록 저장하는 파일 형식, 두 부분으로 구성됩니다.

작업별 어노테이션 유형#

모델이 생성해야 하는 출력에 따라 어노테이터가 그릴 항목이 정해집니다. 세부 묘사에는 시간이 들기 때문에 팀은 모델에 필요한 정보를 담는 가장 단순한 어노테이션 유형을 선택합니다.

• 바운딩 박스: 객체 탐지에서는 객체마다 박스 하나와 클래스를 지정합니다. YOLO 형식은 이미지마다 텍스트 파일 하나를 작성하고, 객체마다 class x_center y_center width height 행을 하나씩 저장하며, 이미지 크기를 기준으로 값을 0–1 범위로 정규화합니다. COCO JSON은 [x_min, y_min, width, height]를 픽셀 단위로 저장하고, Pascal VOC XML은 두 꼭짓점의 픽셀 좌표를 저장합니다.
• 폴리곤 및 마스크: 인스턴스 분할에서는 윤곽선을 사용하고, 시맨틱 분할에서는 모든 픽셀에 클래스를 지정합니다. YOLO와 COCO는 폴리곤을 꼭짓점 목록으로 저장하며, COCO는 군중 영역의 마스크도 런 렝스 인코딩(RLE)으로 저장합니다.
• 클래스 라벨: 이미지 분류에서는 이미지마다 하나의 클래스를 지정하며, 이미지가 저장된 폴더의 이름으로 저장하는 경우가 많습니다. 이는 ImageNet 스타일 분류 데이터셋의 폴더 구조입니다.
• 키포인트: 포즈 추정에서 각 랜드마크에 대해 x, y 위치와 가시성 플래그를 지정합니다. COCO의 사람 어노테이션에는 키포인트 17개가 표시되며, 각 키포인트는 라벨링되지 않음, 라벨링되었지만 가려짐, 또는 보임으로 표시됩니다.
• 방향성 박스: 항공 이미지에서 선박과 차량처럼 회전된 객체에 맞춘 네 개의 꼭짓점으로, 방향성 바운딩 박스 탐지에 사용됩니다.

주석 정밀도는 작은 객체에서 특히 중요합니다. 20 × 20픽셀 박스를 가로와 세로로 각각 3픽셀 이동하면 원래 박스와의 교집합 대비 합집합(IoU)이 0.57로 떨어집니다. 따라서 실제 객체와 일치하는 예측도 COCO 평균 정밀도(mAP)의 평균에 포함되는 IoU 임계값 10개 중 0.60~0.95의 8개에서 미탐으로 처리됩니다. 모든 클래스를 정의하고 일부 가려진 객체의 박스를 얼마나 좁게 그릴지와 같은 경계 사례를 정하는 문서화된 지침은 수천 개의 주석을 일관되게 유지하는 데 도움이 됩니다.

이미지 외 데이터의 어노테이션#

• 비디오: 다중 객체 추적을 위해 모든 프레임에 박스나 마스크를 지정하고, 각 객체를 시간에 따라 추적하는 트랙 ID로 연결합니다.
• 라이다 및 3D: 자율주행 및 로보틱스의 3D 객체 탐지를 위해 포인트 클라우드에 중심, 크기, 방향각을 지정한 직육면체를 표시합니다.
• 텍스트: 개체명 인식(NER)에서는 문자 오프셋과 개체 유형으로 텍스트 구간을 표시하며, 감성 분석과 같은 작업에서는 문서마다 라벨 하나를 지정합니다.
• 오디오: 음성 인식을 위해 타임스탬프가 포함된 구간에 전사 텍스트나 화자 ID를 지정합니다.
• 모델 선호도: 어노테이터가 두 가지 모델 응답 중 더 나은 것을 선택하면 인간 피드백 기반 강화 학습(RLHF)에 사용되는 비교 데이터가 생성됩니다.

자동 어노테이션#

모델 지원 어노테이션은 모델이 제안한 결과를 사람이 검토하고 수정하는 방식으로 시작합니다. 탐지기는 이미 알고 있는 클래스의 박스를 제안하고, Meta의 Segment Anything과 같은 프롬프트 기반 분할 모델은 박스나 클릭 지점을 마스크로 변환하여 꼭짓점을 하나씩 따라 그리는 작업을 대체합니다. Ultralytics 패키지의 auto_annotate 함수는 두 단계를 연결합니다. YOLO26 탐지기가 객체를 찾아 분류하고, Ultralytics 패키지에서 실행되는 SAM 2.1이 각 박스를 폴리곤으로 변환하여 YOLO 분할 형식으로 저장합니다.

from pathlib import Path

from ultralytics.data.annotator import auto_annotate
from ultralytics.utils import ASSETS

# Detect objects in the bundled sample images, then turn each box into a SAM 2.1 polygon
auto_annotate(data=ASSETS, det_model="yolo26n.pt", sam_model="sam2.1_b.pt", output_dir="auto_labels")

# Read the annotation file written for the bus image
rows = Path("auto_labels/bus.txt").read_text().splitlines()
print(f"{len(rows)} objects annotated")
print(rows[0][:80])

bus.txt의 각 행에는 COCO 클래스 인덱스와 이어서 다각형 정점을 나타내는 x, y 좌표 쌍이 0~1 범위로 정규화되어 기록됩니다. 어노테이터는 이를 검토하고 수정한 뒤 학습에 사용할 수 있습니다. 기본 신뢰도 임계값인 0.25보다 낮은 탐지 결과에는 어노테이션이 추가되지 않으므로, 누락된 객체는 직접 그려야 합니다. Ultralytics Platform은 클래스 이름만 필요한 비전 언어 모델과 오픈 어휘 탐지기를 사용해 탐지 데이터셋에 자동으로 어노테이션을 추가할 수도 있으며, VLM 벤치마크 결과는 각 모델이 실제 이미지에 얼마나 정확하게 레이블을 지정하는지 보여줍니다.

데이터 어노테이션과 관련 용어 비교#

• 데이터 라벨링: 동의어이며, 이메일을 스팸으로 표시하는 것처럼 항목 전체에 클래스 태그를 지정할 때 더 자주 사용됩니다.
• 데이터 증강: 수평으로 뒤집을 때 박스 좌표를 반전하는 것처럼 어노테이션된 이미지와 해당 어노테이션을 함께 변환하여 기존 정답 데이터의 다양성을 늘립니다.
• 준지도 학습: 모델이 라벨이 없는 데이터에 직접 어노테이션을 지정하고, 사람이 검토하지 않아도 의사 라벨이라고 부르는 자체 확신도 높은 예측 결과로 학습합니다.
• 합성 데이터: 생성기가 모든 객체의 정확한 위치와 윤곽을 알고 있어 생성 과정에서 어노테이션이 함께 제공되는 렌더링 또는 생성 이미지입니다.