Human-in-the-loop 주석이 중요한 이유 이해하기

20년 전만 해도 누군가 집안일을 돕는 로봇을 생각하고 있다고 말했다면 정말 허무맹랑하게 들렸을 것입니다. 하지만 우리는 현재 AI 붐의 한가운데에 있으며, 로봇들이 유사한 시나리오에서 테스트되고 있습니다.

이러한 진전을 이끄는 AI의 핵심 분야는 computer vision이며, 이는 기계에 이미지와 비디오를 이해하는 능력을 부여합니다. 다시 말해, Ultralytics YOLO11 및 곧 출시될 Ultralytics YOLO26과 같은 computer vision 모델은 시각적 데이터와 주석으로 구성된 데이터셋을 기반으로 학습할 수 있습니다.

이러한 어노테이션은 모델이 시각 데이터를 이해하도록 돕습니다. 예를 들어, 객체 탐지 데이터셋은 bbox를 사용하여 관심 객체 주위에 사각형을 그립니다. 이를 통해 모델은 장면이 복잡하거나 객체가 부분적으로 가려져 있더라도 새로운 이미지에서 해당 객체를 탐지하고 위치를 파악할 수 있습니다.

다른 computer vision 작업은 서로 다른 종류의 어노테이션에 의존합니다. 세그멘테이션 데이터셋은 픽셀 수준에서 객체의 정확한 윤곽을 라벨링하며, 키포인트 데이터셋은 사람의 관절과 같은 특정 지점을 표시합니다.

그러나 이러한 모든 형식에서 한 가지 결정적인 요소는 라벨의 품질과 일관성입니다. 모델은 학습된 데이터로부터 직접 학습하므로, 라벨이 일관되지 않거나 잘못된 경우 모델은 종종 그러한 실수를 예측 과정에 그대로 반영하게 됩니다.

자동화가 이루어지더라도 medical imaging과 같이 위험 부담이 큰 영역에서는 여전히 사람이 주석을 단 데이터셋이 매우 중요합니다. 정확하지 않은 종양 경계나 누락된 이상 징후 같은 사소한 레이블링 오류는 모델에 잘못된 패턴을 학습시켜 나중에 안전하지 않은 예측으로 이어질 수 있습니다. 인간 전문가들은 이러한 응용 분야에 필요한 정확한 정답(ground truth)과 판단력을 제공합니다.

그림 1. 인간 어노테이션 데이터셋의 필요성. 이미지 제공: 저자.

이 글에서는 AI가 계속 발전함에도 불구하고 왜 인간이 어노테이션한 데이터가 필수적인지 자세히 살펴보겠습니다.

이미지 및 비디오 어노테이션의 필요성#

computer vision 모델은 많은 예시를 보며 학습한다는 점에서 우리와 매우 유사하게 학습합니다. 차이점은 인간이 사전에 레이블링한 대규모 datasets of images 및 비디오를 통해 학습한다는 것입니다. 이러한 레이블은 정답(ground truth) 역할을 하여 모델에게 이것은 보행자이고, 여기는 종양의 경계이며, 저 물체는 자동차라는 것을 가르쳐 줍니다.

실제 세상의 시각 자료는 깨끗하거나 일관된 경우가 드뭅니다. 조명이 변하면 같은 객체도 다르게 보일 수 있습니다. 사람과 차량은 서로 겹치거나 부분적으로 가려질 수 있습니다. 배경은 복잡하고 주의를 분산시킬 수 있습니다. 데이터셋이 이러한 상황 전반에 걸쳐 신중하고 일관된 라벨을 포함할 때, 모델은 통제된 환경 밖에서 마주할 상황들에 훨씬 더 잘 대비할 수 있습니다.

Data annotation은 단순히 상자를 그리거나 외곽선을 따는 것 이상의 의미를 가집니다. 이는 가이드라인을 적용하고, 무엇을 객체로 간주할지, 경계가 어디여야 할지, 그리고 모호한 상황에서는 어떻게 해야 할지에 대해 실질적인 결정을 내리는 과정을 포함합니다. 이러한 인간의 판단은 데이터를 정확하고 유용하게 유지해 줍니다.

결국, computer vision 시스템은 학습하는 라벨링 데이터만큼의 성능만을 발휘합니다. 스캔에서 암을 발견하거나 자율주행 자동차를 위한 도로 위험을 탐지하는 것과 같은 고영향 애플리케이션에서는 숙련된 사람들의 정밀한 라벨이 정확성과 안전성에 실질적인 차이를 만듭니다.

데이터 어노테이션에서의 자동화 부상#

Computer vision이 확장되고 데이터셋이 커짐에 따라, 자동화는 어노테이션 속도를 높이는 일반적인 방법이 되고 있습니다. 팀들은 모든 것을 수동으로 라벨링하는 대신 AI 모델을 사용하여 1차 라벨을 생성합니다.

그런 다음 인간이 결과를 검토하고 실수를 수정하며 모델이 확신을 가지고 라벨링할 수 없는 사례들을 처리합니다. 이 접근 방식은 고품질을 유지하면서 어노테이션 속도를 높입니다.

자동화가 데이터 어노테이션에 일반적으로 도움을 주는 몇 가지 방법은 다음과 같습니다:

• Auto segmentation: 모델은 객체 윤곽이나 픽셀 수준의 마스크를 자동으로 제안할 수 있으며, 이는 어노테이터가 수행해야 하는 수동 추적 작업을 줄여줍니다.
• Optical flow tracking: 비디오의 경우, 추적 방법은 프레임 전반에 걸쳐 움직이는 객체를 따라가며 라벨을 전달할 수 있어 시간 경과에 따른 어노테이션 일관성을 유지하는 데 도움을 줍니다.
• Frame interpolation: 도구는 움직임 및 추적 큐를 사용하여 라벨링된 두 프레임 사이의 프레임에 라벨을 채울 수 있으므로 어노테이터가 모든 단일 프레임을 라벨링할 필요가 없습니다.
• Active learning: 학습 파이프라인은 모델이 불확실하거나 특이하다고 판단하는 예시를 식별하여 인간에게 우선적으로 전달하므로, 수동 작업이 성능 향상에 가장 크게 기여하는 데이터에 집중될 수 있습니다.

왜 인간 데이터 어노테이션이 여전히 중요한가#

자동화는 라벨링 속도를 높일 수 있지만, AI 모델이 정확하고 신뢰할 수 있게 유지되려면 여전히 인간의 판단이 필요합니다.

데이터 어노테이션에서 인간의 전문 지식이 영향력을 발휘하는 몇 가지 핵심 영역은 다음과 같습니다:

• 컨텍스트 이해: 실제 이미지와 비디오는 종종 복잡합니다. 그림자, 반사, 모션 블러, 겹치는 객체는 자동화 도구를 혼란스럽게 할 수 있습니다. 인간 어노테이터는 실제로 무슨 일이 일어나고 있는지 해석할 수 있어 라벨이 더 정확해집니다.
• 라벨 일관성 유지: 데이터셋이 커짐에 따라 자동화된 라벨은 배치 간에 표류하거나 변할 수 있습니다. 인간은 라벨을 감사하고 수정하며 정렬하여 데이터셋이 시작부터 끝까지 일관성을 유지하도록 할 수 있습니다.
• 편향 및 피해 감소: 사람은 민감한 콘텐츠, 문화적 뉘앙스, 편향을 초래할 수 있는 패턴을 식별하는 데 더 능숙합니다. 그들의 검토는 데이터셋을 더 공정하게 만들고 의도치 않은 피해를 방지하는 데 도움을 줍니다.
• 주제 전문성 적용: 일부 작업은 의학적 이상 징후 식별이나 산업 결함 탐지와 같은 도메인 지식이 필요합니다. 전문가는 정밀한 라벨을 제공하고 모호한 사례를 해결하여 모델이 올바른 세부 정보를 학습하도록 할 수 있습니다.

Human-in-the-loop 어노테이션 개요#

Roboflow와 같은 주석 도구 및 플랫폼은 Segment Anything Model 3 또는 SAM3와 같은 파운데이션 모델을 사용하여 레이블링 속도를 높이기 위한 자동화를 통합합니다. SAM3는 Meta AI의 프롬프트 기반 세분화 파운데이션 모델입니다.

이 모델은 클릭, bbox 또는 짧은 텍스트 문구와 같은 간단한 프롬프트로부터 이미지와 비디오 내 객체를 탐지, 세그멘테이션 및 추적할 수 있으며, 각 새로운 카테고리에 대한 작업별 학습 없이도 일치하는 객체에 대한 세그멘테이션 마스크를 생성합니다.

이러한 최첨단 접근 방식을 사용하더라도 어노테이션을 검토하고 마무리할 인간 전문가는 여전히 필요합니다. 자동화된 도구가 초안을 생성하고 인간이 이를 확인, 수정 및 개선하는 워크플로우를 human-in-the-loop 어노테이션이라고 합니다. 이는 어노테이션 속도를 유지하면서 최종 라벨이 신뢰할 수 있는 모델 학습을 위해 정확하고 일관되도록 보장합니다.

그림 2. 휴먼 인 the 루프 주석 살펴보기. (Source)

어노테이션 자동화가 작동할 때와 작동하지 않을 때#

자동화된 어노테이션은 통제된 장소에서 수집된 데이터에 가장 잘 작동합니다. 공장, 창고 또는 소매점 통로에서 수집된 이미지는 일반적으로 안정적인 조명과 객체에 대한 명확한 시야를 확보하고 있으므로, 자동화 도구가 정확하게 라벨링하여 팀이 수동 작업은 줄이고 확장 속도는 높일 수 있도록 합니다.

덜 통제된 장소의 데이터는 더 복잡합니다. 야외 영상은 시간대와 날씨에 따라 변하며, 거리나 가정의 장면은 종종 복잡함, 모션 블러, 서로를 가리는 객체, 많은 중첩을 포함합니다. 작은 객체, 미세한 경계 또는 드문 상황은 오류 가능성을 더욱 높입니다. 깨끗한 실내 데이터에서 성능이 좋은 모델이라도 복잡한 실제 시각 자료에서는 고전할 수 있습니다.

이것이 바로 인간의 입력이 여전히 중요한 이유입니다. 모델이 불확실할 때 사람이 개입하여 까다로운 컨텍스트를 해석하고 최종 데이터셋에 포함되기 전에 실수를 수정할 수 있습니다. Human-in-the-loop 어노테이션은 자동화가 실제 조건에 기반을 두도록 돕고 배포 후에도 모델을 신뢰할 수 있게 유지합니다.

Human-in-the-loop 어노테이션이 차이를 만들 수 있는 곳은 어디입니까?#

자동화가 잘 작동하는 곳과 그렇지 않은 곳을 확인했으므로, human-in-the-loop 어노테이션이 중요한 역할을 하는 몇 가지 애플리케이션을 살펴보겠습니다.

제조업에서의 결함 탐지#

매분 수백 개의 부품이 카메라 아래를 지나가는 공장 컨베이어 벨트를 생각해 보십시오. 대부분의 결함은 명확하지만 가끔 이상한 각도나 빛 반사 아래에서 미세한 균열이 나타나기도 합니다. 자동화된 시스템은 이를 놓치거나 무해한 표면 질감으로 라벨링할 수 있지만, 인간 검토자는 결함을 발견하고 어노테이션을 수정하며 모델이 차이를 학습하도록 할 수 있습니다.

이것이 산업 검사에서 human-in-the-loop 어노테이션의 역할입니다. 자동화는 일반적인 결함 유형을 사전 라벨링하고 방대한 양의 이미지를 빠르게 처리할 수 있지만, 인간은 여전히 결과를 검증하고 경계를 좁히며 학습 과정에서 자주 나타나지 않는 희귀한 결함을 처리해야 합니다.

자율주행 차량 및 스마트 교통#

마찬가지로 자율주행 차량은 computer vision을 사용하여 보행자를 발견하고 표지판을 읽으며 교통 상황을 탐색하지만, 실제 도로는 예측할 수 없습니다. 예를 들어, 밤에 주차된 차 뒤에서 갑자기 나오는 보행자는 부분적으로 가려져 조명 아래에서 확인하기 어려울 수 있습니다.

그림 3. computer vision을 사용하여 교통을 분석하는 예시. (Source)

인간 어노테이터는 학습 중에 이러한 희귀한 안전 필수적 엣지 케이스를 라벨링하여 모델이 정상적인 상태뿐만 아니라 가장 중요한 순간에도 올바른 대응을 학습하도록 할 수 있습니다. 이 human-in-the-loop 단계는 자동화만으로는 포착하기 어려운 저빈도 이벤트를 시스템이 처리하도록 가르치는 핵심입니다.

인간 어노테이션 데이터셋의 향후 방향#

기술이 발전함에 따라 휴먼 인 the 루프 주석은 더욱 협업적인 형태로 진화하고 있습니다. 흥미롭게도 이미지와 텍스트를 모두 학습하는 vision language models(VLM)이 이제 초기 레이블을 생성하고 간단한 프롬프트로부터 수정 사항을 제안하는 데 사용되고 있습니다.

따라서 모든 이미지를 수동으로 스캔하여 무엇을 라벨링할지 결정하는 대신, 어노테이터는 VLM에 “모든 보행자, 자동차, 신호등을 라벨링해” 또는 “이 부품의 모든 결함을 세그멘테이션해”와 같은 문구를 프롬프트하여 검토할 초안 어노테이션 세트를 얻을 수 있습니다.

그림 4. 대형 멀티모달 모델은 인간 주석자와 함께 작업할 수 있습니다 (Source)

모델이 많은 단순 사례를 미리 처리할 수 있기 때문에 어노테이션 시간이 단축되며, 인간은 결과 검토, 까다로운 예시 수정, 데이터셋 일관성 유지에 집중할 수 있습니다. 대규모 멀티모달 모델은 또한 어노테이터를 가장 불확실한 샘플로 안내하기 시작하여 인간의 노력을 더 목표 지향적으로 만들고 전반적인 데이터셋 품질을 향상시키고 있습니다.

핵심 요약#

Computer vision은 기계가 보는 것을 해석하고 반응하도록 돕지만, 루프 속에 인간의 전문 지식이 있을 때 가장 잘 작동합니다. 인간이 어노테이션한 데이터는 모델이 실제 조건에 기반을 두게 하고 모델의 성능을 더욱 신뢰할 수 있게 만듭니다. 자동화와 인간의 판단이 나란히 작동함으로써 팀은 영향력 있는 vision 시스템을 구축할 수 있습니다.

당사의 활발한 community에 참여하고 AI in logistics 및 Vision AI in robotics와 같은 혁신을 살펴보세요. GitHub repository를 방문하여 더 많은 정보를 확인해 보세요. 지금 바로 computer vision을 시작하려면 당사의 licensing options을 확인하세요.