Human-in-the-loop 주석이 중요한 이유 이해하기

20년 전만 해도 누군가 집안일을 돕는 로봇을 생각하고 있다고 말했다면 정말 허무맹랑하게 들렸을 것입니다. 하지만 우리는 현재 AI 붐의 한가운데에 있으며, 로봇들이 유사한 시나리오에서 테스트되고 있습니다.

이러한 발전을 견인하는 AI의 핵심 분야는 기계가 이미지와 비디오를 이해할 수 있는 능력을 부여하는 computer vision입니다. 다시 말해, Ultralytics YOLO11이나 곧 출시될 Ultralytics YOLO26과 같은 computer vision 모델은 시각 데이터와 어노테이션으로 구성된 데이터셋을 통해 학습될 수 있습니다.

이러한 어노테이션은 모델이 시각 데이터를 이해하도록 돕습니다. 예를 들어, 객체 탐지 데이터셋은 bbox를 사용하여 관심 객체 주위에 사각형을 그립니다. 이를 통해 모델은 장면이 복잡하거나 객체가 부분적으로 가려져 있더라도 새로운 이미지에서 해당 객체를 탐지하고 위치를 파악할 수 있습니다.

다른 computer vision 작업은 서로 다른 종류의 어노테이션에 의존합니다. 세그멘테이션 데이터셋은 픽셀 수준에서 객체의 정확한 윤곽을 라벨링하며, 키포인트 데이터셋은 사람의 관절과 같은 특정 지점을 표시합니다.

그러나 이러한 모든 형식에서 한 가지 결정적인 요소는 라벨의 품질과 일관성입니다. 모델은 학습된 데이터로부터 직접 학습하므로, 라벨이 일관되지 않거나 잘못된 경우 모델은 종종 그러한 실수를 예측 과정에 그대로 반영하게 됩니다.

자동화가 이루어지더라도 인간이 어노테이션한 데이터셋은 여전히 중요하며, 특히 medical imaging과 같이 위험 부담이 큰 분야에서는 더욱 그렇습니다. 부정확한 종양 경계나 놓친 이상 징후와 같은 작은 라벨링 오류는 모델에게 잘못된 패턴을 학습시켜 추후 안전하지 않은 예측으로 이어질 수 있습니다. 인간 전문가는 이러한 애플리케이션에 필요한 정확한 ground truth와 판단력을 제공합니다.

그림 1. 인간 어노테이션 데이터셋의 필요성. 이미지 제공: 저자.

이 글에서는 AI가 계속 발전함에도 불구하고 왜 인간이 어노테이션한 데이터가 필수적인지 자세히 살펴보겠습니다.

Link to this section이미지 및 비디오 어노테이션의 필요성#

Computer vision 모델은 우리와 비슷하게 많은 예시를 봄으로써 학습합니다. 차이점은 인간이 미리 라벨링한 대규모 datasets of images 및 비디오를 통해 학습한다는 것입니다. 해당 라벨은 ground truth 역할을 하여 모델에게 '이것은 보행자이다', '여기에 종양의 경계가 있다', '저 객체는 자동차이다'와 같은 정보를 가르칩니다.

실제 세상의 시각 자료는 깨끗하거나 일관된 경우가 드뭅니다. 조명이 변하면 같은 객체도 다르게 보일 수 있습니다. 사람과 차량은 서로 겹치거나 부분적으로 가려질 수 있습니다. 배경은 복잡하고 주의를 분산시킬 수 있습니다. 데이터셋이 이러한 상황 전반에 걸쳐 신중하고 일관된 라벨을 포함할 때, 모델은 통제된 환경 밖에서 마주할 상황들에 훨씬 더 잘 대비할 수 있습니다.

Data annotation은 단순히 상자를 그리거나 윤곽선을 추적하는 것 이상입니다. 여기에는 가이드라인을 적용하고 무엇이 객체로 간주되는지, 경계가 어디여야 하는지, 불분명한 경우 어떻게 해야 하는지에 대해 실무적인 결정을 내리는 과정이 포함됩니다. 그러한 인간의 판단이 데이터를 정확하고 유용하게 유지합니다.

결국, computer vision 시스템은 학습하는 라벨링 데이터만큼의 성능만을 발휘합니다. 스캔에서 암을 발견하거나 자율주행 자동차를 위한 도로 위험을 탐지하는 것과 같은 고영향 애플리케이션에서는 숙련된 사람들의 정밀한 라벨이 정확성과 안전성에 실질적인 차이를 만듭니다.

Link to this section데이터 어노테이션에서의 자동화 부상#

Computer vision이 확장되고 데이터셋이 커짐에 따라, 자동화는 어노테이션 속도를 높이는 일반적인 방법이 되고 있습니다. 팀들은 모든 것을 수동으로 라벨링하는 대신 AI 모델을 사용하여 1차 라벨을 생성합니다.

그런 다음 인간이 결과를 검토하고 실수를 수정하며 모델이 확신을 가지고 라벨링할 수 없는 사례들을 처리합니다. 이 접근 방식은 고품질을 유지하면서 어노테이션 속도를 높입니다.

자동화가 데이터 어노테이션에 일반적으로 도움을 주는 몇 가지 방법은 다음과 같습니다:

• Auto segmentation: 모델은 객체 윤곽이나 픽셀 수준의 마스크를 자동으로 제안할 수 있으며, 이는 어노테이터가 수행해야 하는 수동 추적 작업을 줄여줍니다.
• Optical flow tracking: 비디오의 경우, 추적 방법은 프레임 전반에 걸쳐 움직이는 객체를 따라가며 라벨을 전달할 수 있어 시간 경과에 따른 어노테이션 일관성을 유지하는 데 도움을 줍니다.
• Frame interpolation: 도구는 움직임 및 추적 큐를 사용하여 라벨링된 두 프레임 사이의 프레임에 라벨을 채울 수 있으므로 어노테이터가 모든 단일 프레임을 라벨링할 필요가 없습니다.
• Active learning: 학습 파이프라인은 모델이 불확실하거나 특이하다고 판단하는 예시를 식별하여 인간에게 우선적으로 전달하므로, 수동 작업이 성능 향상에 가장 크게 기여하는 데이터에 집중될 수 있습니다.

Link to this section왜 인간 데이터 어노테이션이 여전히 중요한가#

자동화는 라벨링 속도를 높일 수 있지만, AI 모델이 정확하고 신뢰할 수 있게 유지되려면 여전히 인간의 판단이 필요합니다.

데이터 어노테이션에서 인간의 전문 지식이 영향력을 발휘하는 몇 가지 핵심 영역은 다음과 같습니다:

• 컨텍스트 이해: 실제 이미지와 비디오는 종종 복잡합니다. 그림자, 반사, 모션 블러, 겹치는 객체는 자동화 도구를 혼란스럽게 할 수 있습니다. 인간 어노테이터는 실제로 무슨 일이 일어나고 있는지 해석할 수 있어 라벨이 더 정확해집니다.
• 라벨 일관성 유지: 데이터셋이 커짐에 따라 자동화된 라벨은 배치 간에 표류하거나 변할 수 있습니다. 인간은 라벨을 감사하고 수정하며 정렬하여 데이터셋이 시작부터 끝까지 일관성을 유지하도록 할 수 있습니다.
• 편향 및 피해 감소: 사람은 민감한 콘텐츠, 문화적 뉘앙스, 편향을 초래할 수 있는 패턴을 식별하는 데 더 능숙합니다. 그들의 검토는 데이터셋을 더 공정하게 만들고 의도치 않은 피해를 방지하는 데 도움을 줍니다.
• 주제 전문성 적용: 일부 작업은 의학적 이상 징후 식별이나 산업 결함 탐지와 같은 도메인 지식이 필요합니다. 전문가는 정밀한 라벨을 제공하고 모호한 사례를 해결하여 모델이 올바른 세부 정보를 학습하도록 할 수 있습니다.

Link to this sectionHuman-in-the-loop 어노테이션 개요#

Roboflow와 같은 어노테이션 도구 및 플랫폼은 Segment Anything Model 3 또는 SAM3와 같은 파운데이션 모델을 사용하여 라벨링 속도를 높이는 자동화를 통합합니다. SAM3는 Meta AI의 프롬프트 기반 세그멘테이션 파운데이션 모델입니다.

이 모델은 클릭, bbox 또는 짧은 텍스트 문구와 같은 간단한 프롬프트로부터 이미지와 비디오 내 객체를 탐지, 세그멘테이션 및 추적할 수 있으며, 각 새로운 카테고리에 대한 작업별 학습 없이도 일치하는 객체에 대한 세그멘테이션 마스크를 생성합니다.

이러한 최첨단 접근 방식을 사용하더라도 어노테이션을 검토하고 마무리할 인간 전문가는 여전히 필요합니다. 자동화된 도구가 초안을 생성하고 인간이 이를 확인, 수정 및 개선하는 워크플로우를 human-in-the-loop 어노테이션이라고 합니다. 이는 어노테이션 속도를 유지하면서 최종 라벨이 신뢰할 수 있는 모델 학습을 위해 정확하고 일관되도록 보장합니다.

그림 2. Human-in-the-loop 어노테이션 살펴보기. (Source)

Link to this section어노테이션 자동화가 작동할 때와 작동하지 않을 때#

자동화된 어노테이션은 통제된 장소에서 수집된 데이터에 가장 잘 작동합니다. 공장, 창고 또는 소매점 통로에서 수집된 이미지는 일반적으로 안정적인 조명과 객체에 대한 명확한 시야를 확보하고 있으므로, 자동화 도구가 정확하게 라벨링하여 팀이 수동 작업은 줄이고 확장 속도는 높일 수 있도록 합니다.

덜 통제된 장소의 데이터는 더 복잡합니다. 야외 영상은 시간대와 날씨에 따라 변하며, 거리나 가정의 장면은 종종 복잡함, 모션 블러, 서로를 가리는 객체, 많은 중첩을 포함합니다. 작은 객체, 미세한 경계 또는 드문 상황은 오류 가능성을 더욱 높입니다. 깨끗한 실내 데이터에서 성능이 좋은 모델이라도 복잡한 실제 시각 자료에서는 고전할 수 있습니다.

이것이 바로 인간의 입력이 여전히 중요한 이유입니다. 모델이 불확실할 때 사람이 개입하여 까다로운 컨텍스트를 해석하고 최종 데이터셋에 포함되기 전에 실수를 수정할 수 있습니다. Human-in-the-loop 어노테이션은 자동화가 실제 조건에 기반을 두도록 돕고 배포 후에도 모델을 신뢰할 수 있게 유지합니다.

Link to this sectionHuman-in-the-loop 어노테이션이 차이를 만들 수 있는 곳은 어디입니까?#

자동화가 잘 작동하는 곳과 그렇지 않은 곳을 확인했으므로, human-in-the-loop 어노테이션이 중요한 역할을 하는 몇 가지 애플리케이션을 살펴보겠습니다.

Link to this section제조업에서의 결함 탐지#

매분 수백 개의 부품이 카메라 아래를 지나가는 공장 컨베이어 벨트를 생각해 보십시오. 대부분의 결함은 명확하지만 가끔 이상한 각도나 빛 반사 아래에서 미세한 균열이 나타나기도 합니다. 자동화된 시스템은 이를 놓치거나 무해한 표면 질감으로 라벨링할 수 있지만, 인간 검토자는 결함을 발견하고 어노테이션을 수정하며 모델이 차이를 학습하도록 할 수 있습니다.

이것이 산업 검사에서 human-in-the-loop 어노테이션의 역할입니다. 자동화는 일반적인 결함 유형을 사전 라벨링하고 방대한 양의 이미지를 빠르게 처리할 수 있지만, 인간은 여전히 결과를 검증하고 경계를 좁히며 학습 과정에서 자주 나타나지 않는 희귀한 결함을 처리해야 합니다.

Link to this section자율주행 차량 및 스마트 교통#

마찬가지로 자율주행 차량은 computer vision을 사용하여 보행자를 발견하고 표지판을 읽으며 교통 상황을 탐색하지만, 실제 도로는 예측할 수 없습니다. 예를 들어, 밤에 주차된 차 뒤에서 갑자기 나오는 보행자는 부분적으로 가려져 조명 아래에서 확인하기 어려울 수 있습니다.

그림 3. Computer vision을 사용하여 교통량을 분석하는 예시. (Source)

인간 어노테이터는 학습 중에 이러한 희귀한 안전 필수적 엣지 케이스를 라벨링하여 모델이 정상적인 상태뿐만 아니라 가장 중요한 순간에도 올바른 대응을 학습하도록 할 수 있습니다. 이 human-in-the-loop 단계는 자동화만으로는 포착하기 어려운 저빈도 이벤트를 시스템이 처리하도록 가르치는 핵심입니다.

Link to this section인간 어노테이션 데이터셋의 향후 방향#

기술이 발전함에 따라 human-in-the-loop 어노테이션은 더욱 협력적으로 변하고 있습니다. 흥미롭게도 이미지와 텍스트 모두에서 학습하는 vision language models (VLMs)가 이제는 1차 라벨을 생성하고 간단한 프롬프트로부터 수정을 제안하는 데 사용되고 있습니다.

따라서 모든 이미지를 수동으로 스캔하여 무엇을 라벨링할지 결정하는 대신, 어노테이터는 VLM에 “모든 보행자, 자동차, 신호등을 라벨링해” 또는 “이 부품의 모든 결함을 세그멘테이션해”와 같은 문구를 프롬프트하여 검토할 초안 어노테이션 세트를 얻을 수 있습니다.

그림 4. 대규모 멀티모달 모델은 인간 어노테이터와 협업할 수 있습니다. (Source)

모델이 많은 단순 사례를 미리 처리할 수 있기 때문에 어노테이션 시간이 단축되며, 인간은 결과 검토, 까다로운 예시 수정, 데이터셋 일관성 유지에 집중할 수 있습니다. 대규모 멀티모달 모델은 또한 어노테이터를 가장 불확실한 샘플로 안내하기 시작하여 인간의 노력을 더 목표 지향적으로 만들고 전반적인 데이터셋 품질을 향상시키고 있습니다.

Link to this section핵심 요약#

Computer vision은 기계가 보는 것을 해석하고 반응하도록 돕지만, 루프 속에 인간의 전문 지식이 있을 때 가장 잘 작동합니다. 인간이 어노테이션한 데이터는 모델이 실제 조건에 기반을 두게 하고 모델의 성능을 더욱 신뢰할 수 있게 만듭니다. 자동화와 인간의 판단이 나란히 작동함으로써 팀은 영향력 있는 vision 시스템을 구축할 수 있습니다.

활발한 community에 참여하여 AI in logistics 및 Vision AI in robotics와 같은 혁신을 탐색해 보십시오. GitHub repository를 방문하여 더 많은 정보를 확인하십시오. 오늘 computer vision을 시작하려면 licensing options을 확인하십시오.