사람 개입형 주석이 중요한 이유 이해하기

20년 전 누군가 집안일을 돕는 로봇을 들일 생각이라고 말했다면, 정말 터무니없는 이야기처럼 들렸을 것입니다. 하지만 지금 우리는 AI 붐의 한가운데에 있으며, 로봇은 이와 유사한 상황에서 테스트되고 있습니다.

이러한 발전을 이끄는 AI의 핵심 분야는 기계가 이미지와 동영상을 이해할 수 있도록 하는 컴퓨터 비전입니다. 즉, Ultralytics YOLO11과 출시 예정인 Ultralytics YOLO26 같은 컴퓨터 비전 모델은 시각 데이터와 주석으로 구성된 데이터셋을 사용해 학습할 수 있습니다.

이러한 주석은 모델이 시각 데이터를 이해하는 데 도움을 줍니다. 예를 들어 객체 탐지 데이터셋은 바운딩 박스를 사용해 관심 객체 주변에 사각형을 그립니다. 이를 통해 모델은 장면이 복잡하거나 객체가 일부 가려진 경우에도 새로운 이미지에서 해당 객체를 탐지하고 위치를 파악할 수 있습니다.

다른 컴퓨터 비전 작업은 서로 다른 유형의 주석에 의존합니다. 세그멘테이션 데이터셋은 픽셀 수준에서 객체의 정확한 윤곽을 표시하고, 키포인트 데이터셋은 사람의 관절과 같은 특정 랜드마크를 표시합니다.

하지만 이러한 모든 형식에서 한 가지 중요한 요소는 라벨의 품질과 일관성입니다. 모델은 학습에 사용되는 데이터에서 직접 학습하므로 라벨이 일관되지 않거나 잘못된 경우 모델은 예측에 이러한 오류를 그대로 반영하는 경우가 많습니다.

자동화를 활용하더라도 사람이 주석을 단 데이터셋은 여전히 중요하며, 특히 의료 영상과 같은 고위험 분야에서는 더욱 그렇습니다. 부정확한 종양 경계나 이상 징후 누락과 같은 작은 라벨링 오류도 모델에 잘못된 패턴을 학습시켜 이후 안전하지 않은 예측으로 이어질 수 있습니다. 이러한 애플리케이션에는 인간 전문가가 제공하는 정확한 그라운드 트루스와 판단이 필요합니다.

그림 1. 사람이 주석을 단 데이터셋이 필요합니다. 이미지 작성자 제공.

이 글에서는 AI가 계속 발전하는 가운데서도 사람이 주석을 단 데이터가 필수적인 이유를 자세히 살펴보겠습니다.

이미지 및 동영상 주석의 필요성#

컴퓨터 비전 모델은 많은 예시를 본다는 점에서 사람과 유사하게 학습합니다. 차이점은 사람이 미리 라벨링한 대규모 이미지 데이터셋과 동영상으로 학습한다는 것입니다. 이러한 라벨은 그라운드 트루스 역할을 하며, 모델에 이것은 보행자이고, 여기가 종양의 경계이며, 저 객체는 자동차라는 식으로 가르칩니다.

실제 환경의 시각 데이터는 대체로 깔끔하거나 일관되지 않습니다. 조명이 달라지면 같은 객체도 다르게 보일 수 있습니다. 사람과 차량이 서로 겹치거나 일부 가려질 수 있습니다. 배경은 복잡하고 주의를 분산시킬 수 있습니다. 이러한 상황 전반에 걸쳐 신중하고 일관된 라벨이 포함된 데이터셋을 사용하면 모델은 통제된 환경을 벗어나 마주하게 될 상황에 훨씬 잘 대비할 수 있습니다.

데이터 주석은 단순히 박스를 그리거나 윤곽선을 따라 그리는 것 이상입니다. 지침을 적용하고, 무엇을 객체로 간주할지, 객체의 경계를 어디에 설정할지, 불분명한 경우 어떻게 처리할지에 대해 실질적인 판단을 내리는 과정이 포함됩니다. 이러한 인간의 판단이 데이터를 정확하고 활용 가능하게 유지합니다.

결국 컴퓨터 비전 시스템의 성능은 학습에 사용하는 라벨링 데이터의 품질만큼만 우수합니다. 스캔 영상에서 암을 발견하거나 자율주행차를 위해 도로 위험 요소를 탐지하는 것과 같은 영향력이 큰 애플리케이션에서는 숙련된 사람이 정확하게 지정한 라벨이 정확도와 안전성에 큰 차이를 만듭니다.

데이터 주석 자동화의 부상#

컴퓨터 비전이 확장되고 데이터셋이 커지면서 자동화는 주석 작업을 가속하는 일반적인 방법이 되고 있습니다. 모든 항목을 수작업으로 라벨링하는 대신 팀은 AI 모델을 사용해 라벨의 초안을 생성합니다.

그런 다음 사람이 결과를 검토하고 오류를 수정하며, 모델이 확신을 가지고 라벨링하지 못하는 사례를 처리합니다. 이 접근 방식은 높은 품질을 유지하면서 주석 작업을 가속합니다.

다음은 자동화가 일반적으로 데이터 주석을 지원하는 몇 가지 방법입니다.

• 자동 세그멘테이션: 모델이 객체 윤곽이나 픽셀 수준의 마스크를 자동으로 제안할 수 있으므로 주석 작업자가 직접 윤곽을 그려야 하는 작업량이 줄어듭니다.
• 옵티컬 플로 추적: 동영상에서는 추적 방법이 프레임 간 이동하는 객체를 따라가고 해당 라벨을 다음 프레임으로 전달하여 시간에 따른 주석의 일관성을 유지하는 데 도움을 줍니다.
• 프레임 보간: 도구가 모션 및 추적 단서를 사용해 라벨이 지정된 두 프레임 사이의 프레임에 라벨을 채울 수 있으므로 주석 작업자가 모든 프레임을 일일이 라벨링할 필요가 없습니다.
• 액티브 러닝: 학습 파이프라인은 모델이 불확실하거나 특이하다고 판단하는 예시를 식별해 사람에게 먼저 보낼 수 있습니다. 이를 통해 수작업을 성능 향상에 가장 크게 기여하는 데이터에 집중할 수 있습니다.

사람의 데이터 주석이 여전히 중요한 이유#

자동화가 라벨링 작업을 가속할 수 있지만, AI 모델이 정확하고 신뢰성 있게 작동하려면 여전히 인간의 판단이 필요합니다.

다음은 데이터 주석에서 인간의 전문성이 영향을 미치는 몇 가지 핵심 영역입니다.

• 맥락 이해: 실제 이미지와 동영상은 대체로 복잡합니다. 그림자, 반사, 모션 블러, 겹쳐 있는 객체는 자동화 도구를 혼란스럽게 만들 수 있습니다. 사람인 주석 작업자는 실제로 어떤 일이 일어나고 있는지 해석할 수 있으므로 라벨이 더 정확해집니다.
• 라벨 일관성 유지: 데이터셋이 커지면 자동으로 생성된 라벨이 배치마다 달라지거나 기준에서 벗어날 수 있습니다. 사람은 라벨을 감사하고 수정하며 일치시켜 데이터셋이 처음부터 끝까지 일관성을 유지하도록 할 수 있습니다.
• 편향과 피해 감소: 사람은 민감한 콘텐츠, 문화적 뉘앙스, 편향을 유발할 수 있는 패턴을 더 잘 발견합니다. 사람의 감독은 데이터셋을 더 공정하게 만들고 의도하지 않은 피해를 방지하는 데 도움을 줍니다.
• 도메인 전문성 적용: 의료 이상 징후나 산업 결함 식별처럼 일부 작업에는 도메인 지식이 필요합니다. 전문가는 정확한 라벨을 제공하고 모호한 사례를 해결하여 모델이 올바른 세부 정보를 학습하도록 할 수 있습니다.

휴먼 인 더 루프 주석 개요#

Roboflow와 같은 주석 도구 및 플랫폼은 Segment Anything Model 3 또는 SAM3와 같은 파운데이션 모델을 활용하는 방식으로 자동화를 통합해 라벨링 작업을 가속합니다. SAM3는 Meta AI의 프롬프트 기반 세그멘테이션 파운데이션 모델입니다.

이 모델은 클릭, 바운딩 박스 또는 짧은 텍스트 구문과 같은 간단한 프롬프트를 사용해 이미지와 동영상 속 객체를 탐지, 세그멘테이션 및 추적할 수 있습니다. 또한 각 새로운 카테고리마다 작업별 학습을 수행하지 않고도 일치하는 객체의 세그멘테이션 마스크를 생성합니다.

이러한 최첨단 접근 방식을 사용하더라도 주석을 검토하고 최종 확정하려면 여전히 인간 전문가가 필요합니다. 자동화 도구가 초안을 생성하고 사람이 이를 검증, 수정 및 개선하는 작업 흐름을 휴먼 인 더 루프 주석이라고 합니다. 이를 통해 주석 작업을 빠르게 진행하면서도 최종 라벨이 신뢰할 수 있는 모델을 학습시키기에 충분히 정확하고 일관되도록 보장할 수 있습니다.

그림 2. 휴먼 인 더 루프 주석 살펴보기. (출처)

주석 자동화가 효과적인 경우와 그렇지 않은 경우#

자동화된 주석은 통제된 장소에서 수집된 데이터에 가장 효과적입니다. 공장, 창고 또는 소매점 통로에서 수집한 이미지는 대체로 조명이 일정하고 객체가 명확하게 보이므로 자동화 도구가 정확하게 라벨링할 수 있습니다. 이를 통해 팀은 수작업을 줄이면서 더 빠르게 확장할 수 있습니다.

통제가 덜 된 장소의 데이터는 더 복잡합니다. 야외 영상은 시간대와 날씨에 따라 달라지고, 거리나 가정에서 촬영한 장면에는 복잡한 배경, 모션 블러, 서로를 가리는 객체, 많은 겹침이 포함되는 경우가 많습니다. 작은 객체, 미세한 경계 또는 드문 상황은 오류가 발생할 여지를 더욱 키웁니다. 깨끗한 실내 데이터에서 성능이 우수한 모델도 복잡한 실제 환경의 시각 데이터에서는 여전히 어려움을 겪을 수 있습니다.

그렇기 때문에 인간의 입력이 여전히 중요합니다. 모델이 확신하지 못할 때 사람이 개입하고, 까다로운 맥락을 해석하며, 최종 데이터셋에 반영되기 전에 오류를 수정할 수 있습니다. 휴먼 인 더 루프 주석은 자동화가 실제 환경의 조건에 기반을 두도록 하고 배포 후에도 모델의 신뢰성을 유지하는 데 도움을 줍니다.

휴먼 인 더 루프 주석은 어디에서 차이를 만들 수 있을까요?#

이제 자동화가 효과적인 영역과 한계에 부딪히는 영역을 살펴보았으므로, 휴먼 인 더 루프 주석이 중요한 역할을 하는 몇 가지 애플리케이션을 살펴보겠습니다.

제조업의 결함 탐지#

매분 수백 개의 부품이 카메라 아래를 통과하는 공장 컨베이어 벨트를 생각해 보겠습니다. 대부분의 결함은 분명하지만, 가끔 빛의 반사 아래나 이상한 각도에서 실금이 나타나기도 합니다. 자동화 시스템은 이를 놓치거나 무해한 표면 질감으로 라벨링할 수 있지만, 사람인 검토자는 결함을 발견하고 주석을 수정하며 모델이 그 차이를 학습하도록 할 수 있습니다.

이것이 산업 검사에서 휴먼 인 더 루프 주석이 담당하는 역할입니다. 자동화는 일반적인 결함 유형을 사전 라벨링하고 대량의 이미지를 빠르게 처리할 수 있지만, 사람은 여전히 결과를 검증하고 경계를 정밀하게 조정하며 학습 과정에서 자주 나타나지 않는 드문 실패 사례를 처리해야 합니다.

자율주행차와 스마트 교통#

마찬가지로 자율주행차는 컴퓨터 비전을 사용해 보행자를 발견하고 표지판을 읽으며 교통 상황을 파악하지만, 실제 도로는 예측하기 어렵습니다. 예를 들어 밤에 주차된 차량 뒤에서 보행자가 나오는 경우, 보행자의 일부가 가려지고 눈부심 때문에 보기 어려울 수 있습니다.

그림 3. 컴퓨터 비전을 활용해 교통을 분석하는 예시입니다. (출처)

사람인 주석 작업자는 학습 중 이러한 드물고 안전에 중요한 엣지 케이스에 라벨을 지정할 수 있습니다. 이를 통해 모델은 정상적인 상황뿐 아니라 가장 중요한 순간에도 올바르게 대응하는 방법을 학습할 수 있습니다. 이러한 휴먼 인 더 루프 단계는 자동화만으로 포착하기 어려운 저빈도 이벤트를 시스템이 처리하도록 가르치는 데 핵심적입니다.

사람이 주석을 단 데이터셋의 미래#

기술이 발전하면서 휴먼 인 더 루프 주석은 더욱 협업적인 방식으로 변화하고 있습니다. 흥미롭게도 이미지와 텍스트를 모두 사용해 학습하는 비전 언어 모델(VLMs)이 이제 라벨 초안을 생성하고 간단한 프롬프트를 통해 수정 사항을 제안하는 데 사용되고 있습니다.

따라서 라벨링할 항목을 결정하기 위해 모든 이미지를 수동으로 살펴보는 대신, 주석 작업자는 VLM에 “모든 보행자, 자동차, 신호등에 라벨을 지정해” 또는 “이 부품의 모든 결함을 세그멘테이션해”와 같은 문구로 프롬프트를 입력하고 검토할 주석 초안을 얻을 수 있습니다.

그림 4. 대규모 멀티모달 모델은 사람인 주석 작업자와 함께 작업할 수 있습니다 (출처)

모델이 많은 간단한 사례를 먼저 처리할 수 있으므로 주석 작업 시간이 줄어들고, 사람은 결과 검토, 까다로운 예시 수정, 데이터셋의 일관성 유지에 집중할 수 있습니다. 대규모 멀티모달 모델은 가장 불확실한 샘플로 주석 작업자를 안내하기 시작했으며, 이를 통해 인간의 노력을 더욱 효과적으로 집중하고 전반적인 데이터셋 품질을 향상시킬 수 있습니다.

핵심 요점#

컴퓨터 비전은 기계가 보는 것을 해석하고 이에 반응하도록 돕지만, 휴먼 인 더 루프 방식으로 인간의 전문성이 함께할 때 가장 효과적으로 작동합니다. 사람이 주석을 단 데이터는 모델이 실제 환경의 조건에 기반을 두도록 하며 모델이 더욱 안정적으로 작동하도록 개선합니다. 자동화와 인간의 판단이 나란히 협력하면 팀은 큰 영향력을 발휘하는 비전 시스템을 구축할 수 있습니다.

활발한 커뮤니티에 참여하고 물류 분야의 AI 및 로보틱스 분야의 Vision AI와 같은 혁신을 살펴보세요. 더 많은 정보를 확인하려면 GitHub 리포지토리를 방문하세요. 지금 컴퓨터 비전을 시작하려면 라이선싱 옵션을 확인하세요.