Ultralytics Platform에서 AI를 사용해 어노테이션을 자동화하는 방법

이미지와 비디오를 분석하는 컴퓨터 비전 솔루션은 제조부터 의료 영상까지 다양한 산업의 워크플로에서 점점 보편화되고 있습니다. 예를 들어 제조 분야에서 컨베이어 벨트를 따라 이동하는 제품의 표면 결함을 감지하려면 미묘한 패턴을 찾아낼 수 있는 컴퓨터 비전 모델이 필요합니다.

이러한 모델이 제대로 작동하려면 각 결함이 명확하게 식별된 레이블 데이터로 학습해야 합니다. 이를 통해 모델은 무엇을 살펴봐야 하는지 학습하고 유사한 패턴을 인식할 수 있습니다.

이러한 레이블을 생성하는 과정을 데이터 어노테이션이라고 합니다. 특히 이미지 어노테이션과 비디오 어노테이션에는 이미지와 비디오 프레임 내에 바운딩 박스를 그리거나, 형태의 윤곽을 표시하거나, 특정 영역에 레이블을 지정하는 작업이 포함됩니다.

소규모 데이터셋에서는 관리할 수 있지만 데이터가 늘어나면 빠르게 처리하기 어려워집니다. 수천 장의 이미지에 레이블을 지정하려면 지속적인 수작업이 필요하므로 어노테이션이 주요 병목이 됩니다. 기존 도구는 대체로 느리고 분산되어 있으며 확장하기 어렵습니다.

올인원 비전 AI 플랫폼인 Ultralytics Platform은 AI 지원 어노테이션으로 이러한 문제를 해결합니다. AI를 사용해 초기 레이블을 자동 생성한 뒤 신속하게 검토하고 수정할 수 있으므로 수작업을 줄이고 효율성을 높입니다.

이 문서에서는 Ultralytics Platform에서 AI 지원 어노테이션이 어떻게 작동하고 레이블 지정 과정을 어떻게 개선하는지 살펴봅니다. 시작하겠습니다!

데이터 어노테이션 프로세스 개요#

Ultralytics Platform에서 AI 기반 어노테이션이 작동하는 방식을 살펴보기 전에 데이터 어노테이션을 먼저 자세히 알아보겠습니다.

데이터 레이블링이라고도 하는 데이터 어노테이션은 원시 데이터에 구조화된 레이블을 할당하여 머신러닝 모델 학습에 사용할 수 있도록 하는 과정입니다. 컴퓨터 비전에서 이러한 레이블은 이미지나 비디오 내 관심 대상 객체, 영역 또는 특징을 정의합니다.

학습 과정에서 모델이나 알고리즘은 입력 데이터를 이러한 레이블에 대응시키는 방법을 학습하므로, 어노테이션 품질은 모델 성능의 핵심 요소입니다. 정확하고 일관된 레이블 데이터셋을 사용하면 모델이 올바른 패턴을 학습할 수 있지만, 부정확하거나 일관성이 없는 어노테이션은 신뢰할 수 없는 예측으로 이어질 수 있습니다.

예를 들어 결함 감지 사례에서는 컨베이어 벨트 위 제품 이미지에서 결함이 나타나는 위치를 표시하고 결함 유형에 레이블을 지정할 수 있습니다. 이를 통해 모델은 결함의 형태를 학습하고 새 이미지에서 결함을 식별할 수 있습니다.

일반적인 어노테이션 작업 살펴보기#

이제 컴퓨터 비전에서 이미지를 어노테이션하는 일반적인 방법을 살펴보겠습니다. 이러한 방법은 객체 감지, 인스턴스 분할, 이미지 분류와 같은 작업을 위해 시각 데이터에 레이블을 지정하는 데 사용됩니다. 각 어노테이션 방법은 객체의 위치를 찾거나, 형태를 포착하거나, 주요 구조를 식별하는 등 서로 다른 목적을 수행합니다.

바운딩 박스#

바운딩 박스는 이미지에서 객체의 위치를 나타내기 위해 객체 주위에 그리는 단순한 사각형입니다. 컴퓨터 비전에서 데이터에 레이블을 지정하는 가장 일반적인 방법 중 하나입니다.

이러한 박스가 표시된 이미지로 학습하면 객체 감지 모델은 다양한 객체를 인식하고 이미지 내 위치를 파악하는 방법을 학습합니다. 이를 통해 여러 객체를 한 번에 감지하고 각 객체가 나타나는 위치를 식별할 수 있습니다.

예를 들어 컴퓨터 비전을 사용해 분석하는 야구 경기를 생각해 보세요. 각 프레임에서 선수, 배트, 공 주위에 박스를 그리면 모델이 경기 내내 해당 객체를 감지하고 식별할 수 있습니다.

그림 1. 바운딩 박스를 사용해 여러 객체에 레이블을 지정하고 위치를 파악할 수 있습니다. (출처)

폴리곤 또는 분할 마스크#

분할 마스크라고도 하는 폴리곤은 픽셀 단위로 객체에 레이블을 지정하여 바운딩 박스보다 더 세밀하게 표현합니다. 대략적인 사각형을 그리는 대신 이미지 속 각 객체의 정확한 형태와 가장자리를 포착합니다. 따라서 더 상세한 이해가 필요한 작업에 유용합니다.

예를 들어 자율주행에서 분할 마스크는 각 픽셀에 도로 또는 하늘과 같은 카테고리를 지정하는 시맨틱 분할이나, 차량 또는 보행자 같은 개별 객체를 구분해 식별하는 인스턴스 분할에 사용됩니다.

사람과 같은 객체를 이미지의 나머지 부분과 분리해야 하는 배경 제거 등의 작업에도 사용됩니다.

키포인트#

키포인트는 사람의 관절이나 동물의 신체 부위처럼 객체의 특정 지점을 표시하는 데 사용됩니다. 이러한 지점을 식별하면 모델이 객체의 구조와 각 부분의 상대적인 위치를 파악할 수 있습니다.

컴퓨터 비전에서는 이를 포즈 추정이라고 하며, 목표는 이러한 키포인트의 위치를 식별하고 키포인트 간의 관계를 파악하는 것입니다. 시간에 따라 이러한 지점을 추적하면 움직임과 자세 변화를 분석할 수 있습니다.

그림 2. 키포인트 어노테이션을 사용하여 사람의 포즈 추정을 위한 관절을 표시할 수 있습니다. (출처)

일반적인 예로 사람의 움직임을 분석하기 위해 동영상에서 신체 관절을 표시하는 작업이 있습니다. 이러한 주요 지점에 집중하면 모델이 사람의 자세와 시간에 따른 자세 변화를 파악할 수 있습니다.

방향성 바운딩 박스(OBB)#

이미지의 모든 객체가 반듯하게 정렬되어 있는 것은 아닙니다. 실제 환경에서는 객체가 기울어지거나 회전되어 있거나 다양한 각도에서 보이는 경우가 많습니다.

표준 바운딩 박스는 불필요한 배경을 포함하거나 객체에 정확히 맞지 않을 수 있어 이러한 상황에서 어려움을 겪는 경우가 많습니다. 방향성 바운딩 박스는 객체의 방향에 맞춰 회전된 사각형을 사용하여 이러한 문제를 해결합니다. 그 결과 더 촘촘하고 정확한 어노테이션을 얻을 수 있습니다.

이 접근 방식은 방향성 바운딩 박스(OBB) 탐지에 사용되며, 모델은 객체의 위치와 방향을 모두 식별합니다. 항공 이미지가 한 가지 예로, 건물, 선박, 차량과 같은 객체가 다양한 각도로 나타나는 경우가 많습니다. 회전된 박스를 사용하면 장면에서 객체의 실제 모양과 방향을 더 쉽게 포착할 수 있습니다.

분류 레이블#

분류 레이블은 특정 객체나 영역을 표시하는 대신 이미지 전체에 단일 레이블을 할당하므로 다른 어노테이션 방식과 접근 방식이 다릅니다. 이미지에 무엇이 있는지 식별하는 것이 목표이고 위치는 중요하지 않을 때 사용됩니다.

예를 들어 이미지의 전체적인 내용을 바탕으로 이미지를 “고양이” 또는 “개”로 레이블링할 수 있습니다. 따라서 이미지에 대한 상위 수준의 이해만으로 충분한 작업에 이미지 분류를 유용하게 활용할 수 있습니다.

기존 어노테이션 도구의 한계#

기존 레이블링 도구 중 상당수는 여러 단계와 단절된 워크플로에 의존합니다. AI 개발팀은 레이블링, 저장, 검증을 위해 어노테이션 플랫폼 간에 전환해야 하는 경우가 많아 AI 프로젝트 진행이 느려집니다.

대부분의 도구는 지원하는 어노테이션 유형과 데이터 유형이 제한적이므로 팀은 바운딩 박스, 세그멘테이션, 키포인트 작업에 각각 다른 도구를 사용하게 됩니다. 이러한 분산된 설정은 특히 컴퓨터 비전을 처음 접하는 팀이 관리하기 어려울 수 있습니다.

수작업도 주요 과제입니다. 이미지 한 장의 어노테이션에는 몇 분밖에 걸리지 않을 수 있지만, 대규모 데이터셋을 다루면 작업에 빠르게 많은 시간이 소요됩니다. 특히 유사한 이미지에 반복적인 작업이 필요한 경우 더욱 그렇습니다.

데이터셋이 커지면 팀은 파일을 관리하고, 데이터셋 버전을 추적하며, 어노테이션의 일관성을 유지해야 합니다. 이로 인해 업무량이 늘어나 데이터 관리에 더 많은 시간을 쓰고 모델 성능 개선에는 더 적은 시간을 할애하게 됩니다.

더 효율적인 접근 방식은 Ultralytics Platform에서 AI 지원 어노테이션을 사용하는 것입니다. AI를 활용해 레이블을 생성하고 개선함으로써 수작업을 줄이고 속도와 일관성을 높이며, 데이터셋 관리, 어노테이션, 모델 학습, 배포, 모니터링을 하나의 환경에서 통합합니다.

Ultralytics Platform이 어노테이션 프로세스를 지원하는 방식#

Ultralytics Platform은 어노테이션을 컴퓨터 비전 워크플로의 나머지 과정과 직접 연결하여 어노테이션을 간소화합니다. 별도의 도구를 사용하는 대신 팀은 하나의 환경에서 데이터, 어노테이션, 모델을 함께 다룰 수 있습니다.

객체 탐지, 이미지 분류, 인스턴스 세그멘테이션, 포즈 추정, 방향성 바운딩 박스 탐지 등 다양한 컴퓨터 비전 작업을 지원합니다.

이 환경에서는 여러 방식으로 어노테이션을 수행할 수 있습니다. 팀은 완전한 제어를 위해 데이터를 수동으로 레이블링하거나, 대화형 포인트 기반 레이블링을 위해 SAM 기반 스마트 어노테이션을 사용하거나, YOLO 기반 스마트 어노테이션을 적용해 어노테이션을 자동 생성한 다음 검토하고 개선할 수 있습니다. 이러한 유연성 덕분에 다양한 데이터셋과 어노테이션 요구 사항에 더 쉽게 대응할 수 있습니다.

그림 3. Ultralytics Platform의 어노테이션 살펴보기 (출처)

AI 지원 어노테이션과 수동 어노테이션이 데이터셋 관리 및 모델 학습과 통합되어 있으므로 팀은 데이터 레이블링에서 데이터셋 정리와 모델 학습까지 원활하게 진행할 수 있습니다. 이를 통해 워크플로를 체계적으로 유지하고 도구 간 전환이나 어노테이션 형식 변환이 필요하지 않게 됩니다.

또한 플랫폼은 Ultralytics YOLO11 및 Ultralytics YOLO26과 같은 Ultralytics YOLO 모델을 지원하므로 어노테이션된 데이터를 학습과 테스트에 바로 사용할 수 있습니다. 이를 통해 데이터셋의 부족한 부분을 파악하고 어노테이션을 개선하며 반복적인 과정을 통해 모델을 재학습하기가 더 쉬워집니다.

Ultralytics Platform의 SAM 스마트 어노테이션 주요 기능#

Ultralytics Platform의 SAM 기반 스마트 어노테이션은 객체 탐지, 인스턴스 세그멘테이션, 방향성 바운딩 박스(OBB) 작업의 어노테이션 속도를 높이도록 설계되었습니다.

플랫폼은 SAM 2.1 Tiny, SAM 2.1 Small, SAM 2.1 Base, SAM 2.1 Large, SAM 3 등 여러 SAM 모델 변형을 제공하므로 사용자는 속도와 정확도 사이에서 선택할 수 있습니다.

그림 4. Ultralytics Platform의 SAM 기반 스마트 어노테이션 (출처)

Tiny와 Small 같은 소형 모델은 더 빠르며 신속한 어노테이션 워크플로에 적합합니다. 반면 Large 및 SAM 3와 같은 대형 모델은 더 복잡한 장면에서 높은 정확도를 제공합니다. 모델을 전환하면 어노테이션 동작이 즉시 업데이트됩니다.

어노테이션 편집기에서 SAM 모델을 선택한 후 사람 어노테이터는 Smart 모드로 전환하여 레이블링을 시작할 수 있습니다. 도형을 직접 그리는 대신 간단한 포인트 입력으로 모델을 안내합니다.

마우스 왼쪽 버튼을 클릭하면 영역을 포함하는 양성 포인트가 추가되고, 오른쪽 버튼을 클릭하면 원하지 않는 영역을 제외하는 음성 포인트가 추가됩니다. 모델은 이러한 입력을 바탕으로 실시간으로 정밀한 마스크를 생성합니다.

워크플로 속도를 높이려면 자동 적용 모드를 활성화할 수 있습니다. 이 모드가 활성화되면 클릭할 때마다 수동 확인 없이 어노테이션이 자동으로 생성되고 저장됩니다. 더 복잡한 객체의 경우 어노테이터는 마스크를 적용하기 전에 "Shift" 키를 누른 채 여러 포인트를 배치하거나, 자동 적용을 비활성화하고 포인트를 자유롭게 추가한 다음 "Enter" 키를 눌러 마스크를 적용할 수 있습니다.

Ultralytics Platform의 YOLO 스마트 어노테이션 이해하기#

SAM 기반 스마트 어노테이션과 마찬가지로 Ultralytics Platform의 YOLO 스마트 어노테이션은 AI를 활용해 레이블링 프로세스의 속도를 높입니다. 클릭으로 모델을 안내하는 대신 모델 예측을 사용해 어노테이션을 자동 생성합니다.

이 접근 방식은 객체 탐지, 인스턴스 세그멘테이션, 방향성 바운딩 박스(OBB) 어노테이션 등의 작업을 지원합니다. Ultralytics에서 제공하는 사전 학습 모델과 사용자 지정 학습 YOLO 모델을 포함하여 Ultralytics YOLO 모델에서만 작동합니다.

어노테이션 편집기에서 어노테이터는 Smart 모드로 전환하고 모델 선택기에서 YOLO 모델을 선택한 다음 Predict를 클릭할 수 있습니다. 모델 선택기에는 현재 데이터셋 작업과 일치하는 YOLO 모델만 표시되므로 생성된 어노테이션의 호환성이 보장됩니다.

모델은 이미지를 분석하고 예측을 바탕으로 어노테이션을 생성한 다음 이미지에 바로 추가합니다. 예측 결과가 동일한 클래스의 기존 어노테이션 결과와 겹치는 경우, 겹침이 설정된 임계값을 초과하면 중복 탐지를 자동으로 건너뛰어 레이블을 깔끔하고 일관되게 유지합니다.

그림 5. Ultralytics Platform에서 Ultralytics YOLO 모델로 구현한 스마트 어노테이션 (출처)

예측이 생성되면 휴먼 인 더 루프 어노테이터가 필요에 따라 예측을 검토하고 조정하거나 제거할 수 있습니다. 모델이 생성한 어노테이션으로 시작해 모든 항목을 수동으로 어노테이션하는 대신 결과를 개선하면 대규모 데이터셋의 레이블링을 빠르게 진행할 수 있습니다.

시간이 지나면서 개선된 YOLO 모델을 재사용해 더 나은 예측을 생성할 수 있으므로 반복적인 자동 레이블링 워크플로를 지원합니다.

실제 파이프라인에 AI 지원 레이블링 적용하기#

이제 실제 사용 사례 전반에서 Ultralytics Platform이 데이터 어노테이션을 지원하는 방법을 예시와 함께 살펴보겠습니다.

자율 주행의 세그멘테이션#

컴퓨터 비전 모델을 통합한 자율 주행 차량은 주변 환경을 실시간으로 파악하기 위해 어노테이션이 잘 된 시각 데이터에 의존합니다. 이 데이터로 학습한 모델은 차량, 보행자, 교통 표지판, 도로 경계를 탐지하고 세그멘테이션할 수 있습니다.

세그멘테이션 작업은 픽셀 수준의 정밀한 경계를 요구하므로 어노테이션은 매우 중요하면서도 시간이 많이 걸립니다. 대량의 센서 데이터를 수동으로 레이블링하면 복잡한 주행 장면에서 특히 빠르게 병목 현상이 발생할 수 있습니다.

Ultralytics Platform은 SAM 및 YOLO 모델을 모두 사용하는 AI 지원 어노테이션으로 이 프로세스를 간소화합니다. SAM 기반 스마트 어노테이션은 클릭 기반 방식으로 정밀한 마스크를 빠르게 생성하고, YOLO 모델은 이미지 전반에 걸쳐 어노테이션을 자동 생성하는 데 사용할 수 있습니다.

이 두 가지 접근 방식을 함께 사용하면 객체가 겹치는 복잡한 장면도 더 쉽게 처리할 수 있습니다.

어노테이션이 모델 학습과 직접 연결되어 있으므로 업데이트된 대규모 데이터셋을 즉시 사용해 모델을 재학습하고 평가할 수 있습니다. 이를 통해 팀은 성능을 지속적으로 개선하고 새로운 주행 조건에 더 효율적으로 대응할 수 있습니다.

제조업의 품질 보증 시스템 개선#

제조업에서 일관된 품질 관리를 유지하려면 생산 중 결함을 정확하게 탐지해야 합니다. 컴퓨터 비전 모델은 실시간으로 문제를 식별하는 데 자주 사용되지만, 성능은 학습 데이터가 실제 생산 조건을 얼마나 잘 반영하는지에 따라 달라집니다.

원자재, 기계 설정, 조명 등의 변화와 같은 제조 환경의 변동으로 인해 원래 학습 데이터에 없었던 새롭고 드문 결함 유형이 나타날 수 있습니다. 이로 인해 모델이 학습한 내용과 생산 라인에서 실제로 발생하는 상황 사이에 간극이 생깁니다.

이러한 상황에 맞게 대응하려면 고품질의 사내 어노테이션으로 데이터셋을 정기적으로 업데이트해야 합니다. Ultralytics Platform을 사용하면 새로운 결함 패턴이 나타날 때 어노테이션을 업데이트하고 데이터셋을 확장하기가 간편합니다. 업데이트된 데이터셋으로 모델을 재학습하면 팀이 변화하는 생산 조건에 더 빠르게 대응할 수 있습니다.

건설 현장 모니터링 및 안전#

건설 현장은 여러 팀과 이동 장비가 있고 배치가 계속 바뀌는 역동적인 환경입니다. 이러한 조건에서 안전을 유지하려면 명확하고 어노테이션이 잘 된 시각 데이터가 필요합니다.

정확한 어노테이션은 데이터 품질을 높이고, 혼잡한 장면, 바뀌는 배경, 다양한 조명 등 여러 현장 조건에서 AI 시스템이 작업자, 장비, 안전 장구, 잠재적 위험을 식별하도록 지원합니다.

Ultralytics Platform은 현장 조건이 바뀔 때 어노테이션을 쉽게 업데이트하고 개선할 수 있도록 지원합니다. 새로운 이미지를 확보하는 대로 데이터셋에 추가하여 실제 상황과 일치하는 상태를 유지할 수 있습니다.

핵심 요점#

고품질 어노테이션은 신뢰할 수 있는 컴퓨터 비전 및 AI 모델을 구축하는 데 필수적이지만, 기존 워크플로는 팀의 작업 속도를 늦추는 경우가 많습니다. Ultralytics Platform은 자동화된 어노테이션 도구와 확장 가능한 워크플로를 통해 이 프로세스를 간소화합니다. 그 결과 팀은 정확성과 일관성을 유지하면서 데이터에서 모델까지 더 빠르게 진행할 수 있습니다.

컴퓨터 비전에 대해 자세히 알아보려면 성장 중인 커뮤니티와 GitHub 저장소를 확인해 보세요. 비전 솔루션을 구축하려면 라이선스 옵션을 살펴보세요. 솔루션 페이지에서 제조업의 컴퓨터 비전과 헬스케어 분야의 AI가 제공하는 이점에 대해 자세히 알아보세요.