Yolo 비전 선전
선전
지금 참여하기

인간이 개입하는 주석 작업이 핵심인 이유 이해하기

Abirami Vina

4분 소요

2025년 12월 12일

인간이 주석 처리한 데이터가 컴퓨터 비전 모델의 정확도를 어떻게 향상시키는지, 그리고 신뢰할 수 있는 비전 AI 시스템에 인간의 전문성이 여전히 필수적인 이유를 살펴보세요.

20년 전만 해도 누군가 집안일을 돕는 로봇을 고려 중이라고 말한다면 정말 터무니없는 소리로 들렸을 것이다. 그러나 우리는 지금 인공지능 붐의 한가운데 있으며, 로봇들이 유사한 시나리오에서 시험되고 있다.

이러한 발전을 주도하는 핵심 AI 분야는 컴퓨터 비전으로, 기계가 이미지와 동영상을 이해할 수 있게 합니다. 즉, Ultralytics YOLO11 와 곧 출시될 Ultralytics 과 같은 컴퓨터 비전 모델은 시각적 데이터와 주석으로 구성된 데이터셋을 통해 훈련될 수 있습니다. 

이러한 주석은 모델이 시각적 데이터를 이해하는 데 도움을 줍니다. 예를 들어, 객체 탐지 데이터셋은 관심 대상 주변에 사각형을 그리는 경계 상자를 사용합니다. 이를 통해 모델은 장면이 복잡하거나 객체가 부분적으로 가려져 있더라도 새로운 이미지에서 해당 객체를 detect 위치를 파악할 수 있습니다.

다른 컴퓨터 비전 작업들은 다양한 종류의 주석에 의존합니다. 분할 데이터셋은 픽셀 수준에서 객체의 정확한 윤곽을 표시하는 반면, 키포인트 데이터셋은 사람의 관절과 같은 특정 랜드마크를 표시합니다. 

그러나 이러한 모든 형식에서 중요한 요소는 라벨의 품질과 일관성입니다. 모델은 학습에 사용된 데이터로부터 직접 학습하므로, 라벨이 일관되지 않거나 잘못된 경우 모델은 종종 이러한 오류를 예측 결과로 이어지게 합니다. 

자동화 시대에도 인간이 주석 처리한 데이터셋은 여전히 중요합니다. 특히 의료 영상과 같은 고위험 분야에서는 더욱 그렇습니다. 종양 경계가 부정확하거나 이상 징후를 놓치는 등 사소한 라벨링 오류만으로도 모델이 잘못된 패턴을 학습하게 되어 이후 안전하지 않은 예측으로 이어질 수 있습니다. 인간 전문가는 이러한 응용 분야에 필요한 정확한 기준값과 판단력을 제공합니다.

그림 1. 인간이 주석 처리한 데이터 세트가 필요하다. 저자 제공 이미지.

이 글에서는 인공지능이 계속 발전하고 있음에도 불구하고, 사람이 주석 처리한 데이터가 왜 필수적인지 자세히 살펴보겠습니다.

이미지 및 동영상 주석의 필요성

컴퓨터 비전 모델은 우리와 마찬가지로 수많은 사례를 관찰하며 학습합니다. 차이점은 인간이 사전에 라벨링한 방대한 이미지 및 동영상 데이터셋을 통해 훈련함으로써 학습한다는 점입니다. 이러한 라벨은 기준 데이터 역할을 하며, 모델에게 '이것은 보행자다', '여기 종양 경계다', '저 물체는 자동차다'와 같은 정보를 가르칩니다.

현실 세계의 시각적 정보는 거의 깨끗하거나 일관되지 않습니다. 조명은 변동되어 동일한 물체가 다르게 보이게 할 수 있습니다. 사람과 차량은 겹치거나 부분적으로 가려질 수 있습니다. 배경은 복잡하고 주의를 분산시킬 수 있습니다. 데이터셋이 이러한 상황 전반에 걸쳐 신중하고 일관된 라벨을 포함할 때, 모델은 통제된 환경 밖에서 마주하게 될 상황에 훨씬 더 잘 대비할 수 있습니다.

데이터 주석 작업은 단순히 상자를 그리거나 윤곽선을 따라 그리는 것 이상입니다. 이는 가이드라인을 적용하고, 무엇이 객체로 간주되는지, 경계가 어디에 위치해야 하는지, 불분명한 경우 어떻게 처리할지에 대한 실질적인 판단을 내리는 과정을 포함합니다. 이러한 인간의 판단이 데이터를 정확하고 활용 가능하게 유지합니다.

결국 컴퓨터 비전 시스템의 성능은 학습하는 라벨링 데이터의 품질에 좌우됩니다. 스캔 영상에서 암을 발견하거나 자율주행차의 도로 위험 요소를 감지하는 등 중대한 영향을 미치는 응용 분야에서는 숙련된 전문가의 정밀한 라벨링이 정확도와 안전성에 실질적인 차이를 만듭니다.

데이터 주석 작업에서의 자동화 확산

컴퓨터 비전 기술이 확대되고 데이터셋이 증가함에 따라, 자동화는 주석 작업을 가속화하는 일반적인 방법이 되고 있습니다. 모든 것을 수동으로 라벨링하는 대신, 팀들은 AI 모델을 활용하여 초기 라벨링 작업을 수행합니다. 

그런 다음 사람이 결과를 검토하고 오류를 수정하며 모델이 확신을 가지고 라벨링하지 못하는 사례를 처리합니다. 이 접근 방식은 품질을 유지하면서 주석 작업을 가속화합니다.

자동화가 데이터 주석 작업에 일반적으로 도움이 되는 몇 가지 방법은 다음과 같습니다:

  • 자동 분할: 모델이 자동으로 객체 윤곽선이나 픽셀 단위 마스크를 제안할 수 있어, 주석 작업자가 수행해야 하는 수동 추적 작업량을 줄여줍니다.
  • 광학 흐름 추적: 동영상에서 추적 방법은 프레임 간 이동하는 물체를 따라가며 해당 물체의 라벨을 전달함으로써, 주석이 시간에 따라 일관성을 유지하도록 돕습니다.
  • 프레임 보간: 도구는 두 개의 라벨링된 프레임 사이의 프레임에 대한 라벨을 동작 및 추적 단서를 사용하여 채울 수 있으므로, 주석 작성자가 모든 프레임을 일일이 라벨링할 필요가 없습니다.
  • 능동적 학습: 훈련 파이프라인은 모델이 불확실하거나 특이하다고 판단한 사례를 식별하여 이를 우선적으로 인간에게 전달할 수 있으므로, 수동 작업은 성능 향상에 가장 효과적인 데이터에 집중됩니다.

왜 인간 데이터 주석 작업이 여전히 그토록 중요한가

자동화는 라벨링 속도를 높일 수 있지만, AI 모델은 정확성과 신뢰성을 유지하기 위해 여전히 인간의 판단이 필요합니다.

데이터 주석 작업에서 인간의 전문성이 영향을 미치는 주요 영역은 다음과 같습니다:

  • 맥락 이해: 실제 이미지와 동영상은 종종 복잡합니다. 그림자, 반사, 모션 블러, 겹치는 물체 등이 자동화 도구를 혼란스럽게 할 수 있습니다. 인간 주석자는 실제 상황을 해석할 수 있으므로 라벨이 더 정확해집니다.
  • 라벨 일관성 유지: 데이터셋이 확장됨에 따라 자동화된 라벨은 배치 간에 편차가 발생하거나 달라질 수 있습니다. 인간이 라벨을 검토, 수정 및 조정함으로써 데이터셋이 시작부터 끝까지 일관성을 유지할 수 있습니다.
  • 편향과 피해를 줄이기: 사람들은 민감한 콘텐츠, 문화적 미묘함, 편향을 유발할 수 있는 패턴을 더 잘 포착합니다. 그들의 감독은 데이터셋을 더 공정하게 만들고 의도하지 않은 피해를 방지하는 데 도움이 됩니다.
  • 전문 분야 지식 적용: 의료적 이상이나 산업적 결함 식별과 같은 일부 작업에는 도메인 지식이 필요합니다. 전문가는 정확한 라벨을 제공하고 모호한 사례를 해결함으로써 모델이 올바른 세부 사항을 학습할 수 있도록 합니다.

인간 개입 주석 작업 개요

Roboflow )와 같은 주석 도구 및 플랫폼은 세그먼트 애니띵 모델 3 (SAM3)과 같은 기초 모델을 활용하여 라벨링 속도를 높이는 자동화 기능을 Roboflow . SAM3는 메타 AI(Meta AI)의 프롬프트 가능 세그멘테이션 기초 모델입니다. 

이미지와 동영상 속 track 클릭, 바운딩 박스 또는 짧은 텍스트 프레이즈와 같은 간단한 프롬프트로 detect, segment 및 track 수 있으며, 새로운 범주마다 별도의 작업별 훈련 없이도 일치하는 물체에 대한 분할 마스크를 생성합니다.

이러한 첨단 접근법에도 불구하고, 주석 작업을 검토하고 최종 확정하기 위해서는 여전히 인간 전문가의 역할이 필요합니다. 자동화 도구가 초안을 생성하고 인간이 이를 검증, 수정, 정교화하는 작업 흐름을 '인간 개입형 주석(human-in-the-loop annotation)'이라 합니다. 이 방식은 주석 작업 속도를 유지하면서도 최종 레이블이 신뢰할 수 있는 모델 훈련에 충분한 정확성과 일관성을 갖도록 보장합니다.

그림 2. 인간이 개입하는 주석 작업의 모습. (출처)

주석 자동화가 작동하는 경우와 그렇지 않은 경우

자동화된 주석 작업은 통제된 환경에서 수집된 데이터에 가장 효과적입니다. 공장, 창고 또는 소매점 진열대에서 수집된 이미지는 일반적으로 조명이 안정적이고 물체를 선명하게 보여주기 때문에 자동화 도구가 정확하게 라벨링할 수 있으며, 팀이 수동 작업을 줄이면서 더 빠르게 확장하는 데 도움이 됩니다.

통제되지 않은 장소의 데이터는 더 복잡합니다. 야외 영상은 시간대와 날씨에 따라 변하며, 거리나 가정 내 장면에는 종종 잡동사니, 모션 블러, 서로 가리는 물체, 그리고 많은 중첩이 포함됩니다. 작은 물체, 미세한 경계선, 또는 드문 상황은 오류를 발생시킬 여지를 더욱 늘립니다. 깨끗한 실내 데이터에서 잘 작동하는 모델도 복잡한 실제 환경에서는 여전히 어려움을 겪을 수 있습니다.

그것이 바로 인간의 개입이 여전히 중요한 이유입니다. 모델이 불확실할 때 사람이 개입하여 까다로운 맥락을 해석하고, 오류가 최종 데이터셋에 반영되기 전에 수정할 수 있습니다. 인간이 개입하는 주석 작업은 자동화가 현실 세계의 조건에 기반을 유지하도록 돕고, 배포 후에도 모델의 신뢰성을 유지합니다.

인간이 개입하는 주석 작업은 어디에서 차이를 만들 수 있을까?

자동화가 효과적인 분야와 한계가 드러나는 분야를 살펴보았으니, 이제 인간이 개입하는 주석 작업이 중요한 역할을 하는 몇 가지 적용 사례를 살펴보겠습니다.

제조 공정에서의 결함 탐지

공장 컨베이어 벨트를 생각해 보자. 매분 수백 개의 부품이 카메라 아래를 지나간다. 대부분의 결함은 눈에 띄지만, 가끔은 미세한 균열이 이상한 각도나 빛의 반사 아래에서 나타난다. 자동화된 시스템은 이를 놓치거나 무해한 표면 질감으로 분류할 수 있지만, 인간 검토자는 결함을 발견하고 주석을 수정하며 모델이 그 차이를 학습하도록 할 수 있다.

산업 검사에서 인간이 개입하는 주석 작업의 역할은 바로 이것이다. 자동화는 일반적인 결함 유형에 사전 라벨을 부여하고 대량의 이미지를 신속하게 처리할 수 있지만, 인간은 여전히 결과를 검증하고 경계를 조정하며 훈련 데이터에서 자주 나타나지 않는 희귀한 결함을 처리해야 한다. 

자율주행차와 스마트 교통

마찬가지로 자율주행 차량은 컴퓨터 비전을 활용해 보행자를 감지하고 표지판을 인식하며 교통 흐름을 탐색하지만, 실제 도로 상황은 예측 불가능하다. 예를 들어 밤에 주차된 차량 뒤에서 걸어 나오는 보행자는 반쯤 가려져 있고 눈부심 때문에 식별이 어려울 수 있다.

그림 3. 컴퓨터 비전을 이용한 교통 분석 사례. (출처)

인간 주석자는 훈련 과정에서 이러한 드물고 안전에 중대한 경계 사례를 라벨링하여 모델이 정상적인 상황뿐만 아니라 가장 중요한 순간에도 올바른 대응을 학습하도록 할 수 있습니다. 이 인간 개입 단계는 자동화만으로는 포착하기 어려운 저빈도 사건을 시스템이 처리하도록 가르치는 데 핵심적입니다.

인간 주석이 달린 데이터셋의 앞날

기술 발전에 따라 인간이 개입하는 주석 작업은 점점 더 협업적 성격으로 변모하고 있다. 흥미롭게도, 이미지와 텍스트 모두로부터 학습하는 비전 언어 모델 (VLMs)이 이제 간단한 프롬프트만으로 라벨의 초안을 생성하고 수정 사항을 제안하는 데 활용되고 있다. 

따라서 주석 작업자가 각 이미지를 수동으로 스캔하며 라벨링 대상을 결정하는 대신, "모든 보행자, 차량, 신호등을 라벨링하라" 또는 "이 부품의segment 결함을segment "와 같은 문구로 VLM에 명령을 내릴 수 있으며, 검토할 초안 주석 세트를 얻을 수 있습니다.

그림 4. 대규모 다중 모달 모델은 인간 어노테이터와 함께 작업할 수 있다 (출처)

이를 통해 모델이 많은 단순한 사례를 사전에 처리할 수 있으므로 주석 작업 시간이 단축됩니다. 따라서 인간 작업자는 결과 검토, 까다로운 사례 수정, 데이터셋 일관성 유지에 집중할 수 있습니다. 대규모 다중 모달 모델은 또한 주석 작업자에게 가장 불확실한 샘플을 우선적으로 안내하기 시작하여 인간의 노력을 더 집중적으로 만들고 전체 데이터셋 품질을 향상시킵니다.

주요 내용

컴퓨터 비전은 기계가 보는 것을 해석하고 반응하도록 돕지만, 인간의 전문성이 개입될 때 가장 효과적입니다. 사람이 주석 처리한 데이터는 모델을 실제 환경에 기반하게 유지하고 성능의 신뢰성을 높입니다. 자동화와 인간의 판단이 함께 작동할 때 팀은 영향력 있는 비전 시스템을 구축할 수 있습니다.

활발한 커뮤니티에 참여하여 물류 분야의 인공지능( AI) 및 로봇공학 분야의 비전 AI와 같은 혁신 기술을 탐구해 보세요. 더 많은 정보를 확인하려면 GitHub 저장소를 방문하세요. 컴퓨터 비전을 지금 바로 시작하려면 라이선스 옵션을 살펴보세요.

함께 미래의 AI를 만들어 갑시다!

미래의 머신러닝 여정을 시작하세요

무료로 시작하기