라벨링을 줄이는 방법: 자동 라벨링 및 액티브 러닝 도구 비교

대부분의 컴퓨터 비전 팀은 레이블링 자체가 문제가 아닙니다. 레이블링 물량이 문제입니다. 프레임은 너무 많고 검토 시간은 부족하며, 모델을 개선하는 데 필요한 프레임은 전체의 일부에 불과합니다. 자동화 도구는 두 방향에서 이 문제를 해결하며, 두 방향의 차이에 따라 실제로 필요한 도구가 결정됩니다. Ultralytics Platform은 SAM 기반 Smart Annotation을 Ultralytics YOLO 학습과 결합한 단일 워크플로로 자동 레이블링을 지원합니다.

자동 레이블링은 사람보다 먼저 모델을 투입합니다. 모델이 박스, 마스크 또는 키포인트를 제안하고 검토자가 이를 수정하므로 레이블 하나당 비용이 낮아집니다. 능동 학습은 데이터셋보다 먼저 모델을 투입합니다. 모델이 레이블이 없는 데이터를 평가해 검토할 가치가 있는 프레임을 알려주므로 필요한 레이블 수가 줄어듭니다. 이 범주에서 가장 흔한 낭비는 두 번째가 필요한데 첫 번째 도구를 구매하는 것입니다.

Smart Annotation은 객체 탐지, 세그멘테이션, 방향성 박스 작업을 위한 마스크와 박스를 제안합니다. 포즈 및 분류 데이터셋은 여전히 수동으로 어노테이션해야 하므로, 작업 구성에 적합한지 확인할 필요가 있습니다. 이것이 모든 문제를 해결하는 만능 도구는 아닙니다. Lightly와 Voxel51 FiftyOne은 데이터 선택에 특화되어 있고, CVAT는 자체 호스팅 오픈소스 워크플로에 더 적합합니다. Labelbox, Encord, SuperAnnotate는 소규모 비전 팀이 활용할 수준보다 더 강력한 엔터프라이즈 검토 기능을 제공합니다.

자동 레이블링 및 능동 학습 도구 비교#

이 페이지의 공급업체는 순위가 아니라 알파벳순으로 나열되어 있습니다. Ultralytics는 이 비교 자료를 게시하고 비교 대상에도 포함되므로, 의도적으로 중립적인 순서를 적용했으며 각 항목에는 명시된 장단점이 포함되어 있습니다.

두 가지 작업은 서로 다른 구매 대상이므로, 여기에는 단 하나의 최적 도구가 없습니다. 주석 작업, 학습, 배포를 하나의 루프 안에서 처리하려면 Ultralytics Platform을 선택하세요. 편의성보다 오픈 소스 제어가 중요하다면 CVAT 또는 Label Studio를 선택하세요. 실제 제약이 라벨링할 대상을 결정하는 것이라면 Lightly 또는 FiftyOne을 선택하세요. 대규모 팀 전반의 검토 거버넌스가 실제 문제라면 관리형 엔터프라이즈 플랫폼을 선택하세요.

자동 라벨링과 액티브 러닝#

이 두 가지는 함께 판매되지만 서로 다른 병목을 해결합니다. 먼저 어떤 문제가 있는지 정하면 조달 주기를 줄일 수 있습니다.

자동 라벨링은 라벨을 생성하는 비용을 줄입니다. 모델이 이미지에 적용되어 주석을 제안하면 사람이 이를 승인하거나 수정하거나 거부합니다. 효과는 분명하지만 한계가 있습니다. 여전히 모든 프레임을 확인해야 하며, 모델의 실수는 검토자의 업무가 됩니다. 모델이 이미 잘 처리하는 클래스는 빠르게 수정할 수 있습니다. 반면 실제로 모델을 개선하는 모호하거나 가려진 사례, 드문 사례에서는 제안의 품질이 가장 낮고 수정에 가장 오래 걸립니다.

액티브 러닝은 필요한 라벨 수를 줄입니다. 시스템은 라벨이 없는 데이터 풀을 임베딩하거나 점수를 매긴 다음, 모델 학습에 가장 도움이 될 프레임의 순위를 정합니다. 기준으로는 높은 불확실성, 기존 데이터와의 낮은 유사도, 모델 버전 간 불일치 등이 있습니다. 데이터 풀의 일부만 라벨링하고도 대부분의 정확도를 얻을 수 있습니다.

실무적으로는 다음과 같이 판단하면 됩니다.

• 검토자가 모든 프레임에 주석을 달아야 해서 업무에 치이고 있다면 자동 라벨링이 필요합니다.
• 라벨링할 수 있는 양보다 훨씬 많은 영상이 있고 무엇을 선택해야 할지 판단할 체계적인 방법이 없다면 액티브 러닝이 필요합니다.
• 두 문제가 모두 있다면 두 가지 모두 필요하며, 일반적으로 서로 다른 제품을 사용하게 됩니다.

유용한 순서는 먼저 액티브 러닝으로 데이터를 선택한 다음 선택한 데이터에만 자동 라벨링을 적용하는 것입니다. 전체 데이터 풀에 자동화를 실행하면 모델에 영향을 주지 않았을 프레임에 컴퓨팅 리소스와 검토 시간을 낭비하게 됩니다.

CVAT#

개요. 이미지, 동영상, 3D 데이터를 위한 성숙한 오픈 소스 주석 도구로, 자체 호스팅하거나 호스팅 서비스로 이용할 수 있습니다.

적합한 대상. 주석 작업의 실행 위치와 비용을 완전히 제어해야 하는 팀입니다.

자동화 방식. 자동 주석 기능은 SAM을 이용한 대화형 세그멘테이션을 비롯해 CVAT와 함께 제공되는 모델을 호출하고, 검토자가 작업을 열기 전에 태스크에 사전 주석을 생성합니다.

장점. 라이선스 비용이 없는 기능적인 주석 인터페이스, 보간 기능을 포함한 강력한 동영상 지원, 그리고 데이터를 보유하는 공급업체가 없습니다.

장단점. 배포, 모델 서빙, 검토 워크플로 설계를 직접 책임져야 합니다. 자동화 성능은 직접 배포한 모델의 성능에 좌우됩니다.

Encord#

개요. 동영상, DICOM, 포인트 클라우드를 포함한 복잡한 시각 데이터를 대상으로 하는 주석 및 데이터 관리 플랫폼입니다.

적합한 대상. 프레임 단위 작업에 많은 비용이 드는 긴 동영상 시퀀스나 의료 영상 데이터를 다루는 팀입니다.

자동화 방식. 자동 주석과 객체 추적 기능이 프레임 간에 주석을 전파하며, 생성된 라벨을 검토하는 단계도 제공합니다.

장점. 동영상 및 의료 형식 처리 성능이 뛰어나며, 처리량만 세는 것이 아니라 라벨 문제를 드러내는 품질 도구도 제공합니다.

장단점. 소규모 객체 탐지 프로젝트에 필요한 수준보다 플랫폼이 더 크고 온보딩 과정도 더 복잡합니다.

Label Studio#

개요. 비전, 텍스트, 오디오 및 기타 데이터 유형을 지원하는 오픈 소스 라벨링 프레임워크이며, 엔터프라이즈 에디션도 제공됩니다.

적합한 대상. 여러 모달리티에 걸쳐 하나의 라벨링 계층을 표준화하려는 팀입니다.

자동화 방식. 직접 작성하고 호스팅하는 ML 백엔드가 사전 주석을 반환하므로, 라벨링에 사용할 모델을 전적으로 선택할 수 있습니다.

장점. 인터페이스와 자동화를 최대한 유연하게 구성할 수 있으며, 사전 주석 생성 모델에 제약이 없습니다.

장단점. 자동화는 기능이 아니라 프레임워크입니다. 누군가 백엔드를 구축하고 서빙하며 유지보수해야 합니다.

Labelbox#

개요. 여러 데이터 유형을 지원하며 검토 및 품질 계층이 강력한 엔터프라이즈 데이터 라벨링 플랫폼입니다.

적합한 대상. 하나의 거버넌스 프로세스에 따라 이미지와 다른 모달리티의 데이터에 라벨을 지정하는 조직입니다.

자동화 방식. 모델 지원 라벨링은 예측 결과를 편집 가능한 사전 주석으로 가져오며, 모델 실행 기능을 사용하면 동일한 데이터셋에서 예측과 실제 정답을 비교할 수 있습니다.

장점. 성숙한 검토 워크플로, 세분화된 품질 관리, 주석 작업자별 성과 가시성을 제공합니다.

장단점. 멀티모달 엔터프라이즈 프로그램에 적합한 폭넓은 기능은 비전만 다루는 팀에는 필요 없는 구성 작업을 추가합니다.

Lightly#

개요. 임베딩을 사용해 라벨링할 가치가 있는 미라벨 데이터를 선택하는 데이터 선택 플랫폼입니다.

적합한 대상. 지속적으로 녹화하는 카메라나 차량에서 확보한 영상 등, 주석을 달 수 있는 양보다 훨씬 많은 영상을 보유한 팀입니다.

자동화 방식. 데이터를 임베딩한 다음 다양성, 불확실성 또는 관심 사례와의 유사도를 기준으로 선택하고, 선택한 하위 집합을 사용 중인 주석 도구로 보냅니다.

장점. 동영상 데이터의 중복 문제를 직접 해결합니다. 서로 거의 동일한 수천 개의 프레임은 비용만 늘리고 새로운 정보를 제공하지 않습니다.

장단점. 핵심 기능은 주석보다 데이터 선택에 있으므로 일반적으로 라벨링 도구와 함께 사용합니다. 다만 현재 Apache-2.0 릴리스인 LightlyStudio는 라벨링 기능도 포함하도록 범위를 확장했으므로, 선택 기능만 제공한다고 가정하지 말고 현재 범위를 확인하세요.

Roboflow#

개요. 데이터셋 관리, 주석, 학습, 배포를 지원하는 컴퓨터 비전 플랫폼으로, 개발자 주도 팀에서 널리 사용됩니다.

적합한 대상. 호스팅 방식의 비전 워크플로를 원하고 해당 플랫폼의 데이터셋 규칙을 수용할 수 있는 팀입니다.

자동화 방식. 모델 지원 라벨링은 파운데이션 모델 또는 프로젝트에서 이미 학습한 모델을 사용해 주석을 제안하므로, 모델이 개선될수록 제안의 품질도 높아집니다.

장점. 문서가 잘 갖춰진 주석 인터페이스, 강력한 데이터셋 버전 관리, 클래스 목록을 빠르게 시작할 수 있도록 지원하는 대규모 공개 데이터셋 생태계를 제공합니다.

장단점. 플랫폼의 더 많은 기능을 사용할수록 가치가 커지므로, 라벨링 계층만 원하는 팀에는 필요 이상의 기능을 구매하는 셈이 될 수 있습니다.

SuperAnnotate#

개요. 관리형 라벨링 서비스 이용을 함께 제공하는 주석 플랫폼입니다.

적합한 대상. 라벨링 소프트웨어뿐 아니라 라벨링 작업 인력도 제약 요소인 팀입니다.

자동화 방식. 자동화 기능은 프로젝트 내에서 사전 주석을 생성하고 라벨을 전파하며, 사람이 검토하는 단계에는 관리형 검토자를 이용할 수 있습니다.

장점. 도구와 인력을 한 공급업체에서 제공하며, 두 영역 모두에 엔터프라이즈 프로젝트 관리를 적용할 수 있습니다.

장단점. 사용할 수 없는 작업 역량을 구매하지 않도록 소프트웨어 요구 사항과 서비스 요구 사항을 별도로 구체화해야 합니다.

Ultralytics Platform: SAM Smart Annotation에서 Ultralytics YOLO 학습까지#

개요. Ultralytics Platform은 데이터셋 주석 작업을 모델 학습 및 배포와 연결합니다. 원본 이미지나 기존 라벨을 가져오면 Smart Annotation이 주석을 제안하고, 검토자가 이를 수정한 뒤 별도의 학습 시스템으로 옮기지 않고 데이터셋으로 Ultralytics YOLO 모델을 학습합니다.

적합한 대상. Ultralytics YOLO를 사용해 객체 탐지, 세그멘테이션, 분류, 포즈 또는 방향성 박스 모델을 구축하고 라벨링-학습-검토 루프를 한곳에 유지하려는 팀입니다.

자동화 방식. Smart Annotation은 Meta의 Segment Anything 모델인 SAM을 사용해 클릭 한 번과 몇 개의 조정 지점만으로 마스크, 바운딩 박스, 방향성 박스를 생성하며, 검토자가 결과를 직접 수정합니다. 기본 모델은 SAM 3이며, 마스크 정밀도보다 대화형 속도가 중요한 경우 더 가벼운 SAM 2.1 버전을 선택할 수 있습니다. 객체 탐지, 세그멘테이션, 시맨틱 세그멘테이션, 방향성 박스를 지원하며, 포즈 및 분류 데이터셋은 수동으로 주석을 달아야 합니다. 다만 포즈 작업에는 사람, 손, 개, 얼굴, 상자용 스켈레톤 템플릿이 있어 수동 작업을 빠르게 진행할 수 있습니다.

또한 사전 학습된 YOLO 모델을 사용해 사전 주석을 생성합니다. 이 방식이 더욱 주목할 만한 이유는 학습이 같은 플랫폼에서 이루어지기 때문입니다. 직접 미세 조정한 모델을 다음 라운드의 사전 주석 생성 모델로 사용할 수 있습니다. 내보내기 단계 없이 루프가 완성됩니다. 보유한 데이터로 학습하고, 모델의 오류를 살펴본 뒤, 해당 데이터를 주석 작업으로 돌려보내면 됩니다. 이 가이드 뒷부분에서 설명하는 복리 효과를 직접 연결하는 수고 없이 이용할 수 있습니다.

장점. 핵심은 폐쇄 루프입니다. 라벨링과 학습 사이에 내보내기-변환-가져오기 단계가 없고, 수동 주석은 Ultralytics 모델이 지원하는 6가지 비전 태스크를 지원하며, 특정 학습 실행에 사용된 데이터셋도 해당 실행과 계속 연결되어 있습니다.

장단점. 컴퓨터 비전용으로 구축되었으므로 이미지와 함께 텍스트나 오디오에 라벨을 지정하는 팀에는 별도의 도구가 필요합니다. 관리형 사람 라벨링 인력은 제공하지 않으며, 대규모 미라벨 데이터 풀을 위한 임베딩 기반 선택 엔진도 아닙니다. 통합의 장점에는 짚고 넘어갈 만한 반대 측면도 있습니다. 워크플로를 하나의 플랫폼에 더 많이 둘수록 한 공급업체에 더 많이 의존하게 됩니다. 이는 앞서 Roboflow에 대해 언급한 동일한 결합 비용입니다. 또한 이 비교에서 가장 최근에 등장한 옵션입니다. Ultralytics Platform은 2026년 3월에 출시되었지만, CVAT, Labelbox, Roboflow는 수년간의 프로덕션 사용 이력을 갖고 있습니다. 조달 요건에 운영 이력의 길이가 포함된다면, 이 차이는 실재하며 고려해야 합니다.

V7#

개요. 이미지와 동영상의 상세 작업에 초점을 둔 주석 플랫폼으로, 의료 및 과학 영상에서 특히 강점을 보입니다.

적합한 대상. 검토자의 작업 편의성이 비용보다 중요한, 밀도 높고 정밀한 주석을 생성하는 팀입니다.

자동화 방식. 자동 주석 기능은 적은 입력만으로 상세한 인스턴스 주석을 생성하며, 동영상 프레임 간 추적 기능도 제공합니다.

장점. 정밀도에 초점을 맞춘 도구와 까다로운 세그멘테이션 작업에 적합하다고 평가받는 인터페이스를 제공합니다.

장단점. 어려운 이미지를 대상으로 하는 전문 기능은 단순한 객체 탐지 작업에 불필요한 부담입니다.

Voxel51 FiftyOne#

개요. 비전 데이터셋과 모델 예측을 탐색하고 큐레이션하며 디버깅하는 오픈 소스 툴킷으로, 엔터프라이즈 에디션도 제공됩니다.

적합한 대상. 정확도 문제가 데이터 문제에서 비롯되었지만 아직 그 문제를 파악하지 못한 팀입니다.

자동화 방식. 예측 결과와 실제 정답을 같은 보기에서 불러올 수 있으므로 손실 기준 정렬, 라벨 오류 및 중복 탐지, 재라벨링을 위한 특정 데이터 부분 집합 내보내기가 가능합니다.

장점. 라벨 오류, 중복, 클래스 불균형 등 라벨을 더 많이 추가해도 해결되지 않을 데이터셋 문제를 특히 잘 드러냅니다.

장단점. 큐레이션 및 분석 계층입니다. 주석 UI나 라벨링 서비스는 아닙니다.

자동 라벨링을 뒷받침하는 모델#

공급업체는 자동화를 기능으로 홍보하지만, 실제 품질은 기반 모델에서 비롯됩니다. 이 주제를 다루는 검색 결과에서도 해당 모델을 직접 언급합니다.

Segment Anything (SAM). Meta의 프롬프트 기반 세그멘테이션 모델은 점이나 박스 프롬프트로부터 마스크를 생성합니다. Ultralytics Platform을 비롯한 스마트 주석 기능의 핵심 모델이며, 객체 경계를 찾는 데 탁월합니다. 하지만 클래스 이름은 알지 못합니다. 세그멘테이션은 수행하지만, 해당 세그먼트가 무엇인지는 다른 시스템이 판단해야 합니다.

오픈 보캐뷸러리 객체 탐지 모델. Grounding DINO 계열 모델은 텍스트 프롬프트로 객체를 탐지하므로, 해당 모델이 학습한 적이 없는 클래스도 사전 주석을 생성할 수 있습니다. 새로운 클래스 목록을 빠르게 시작하는 데 유용하지만, 어휘가 공개 웹의 데이터와 일치하지 않는 도메인 특화 부품이나 결함에서는 신뢰도가 낮습니다.

직접 미세 조정한 모델. 첫 모델이 만들어진 후에는 일반적으로 해당 모델이 데이터의 사전 주석 생성에 가장 적합합니다. 사용 중인 카메라, 조명, 클래스를 이미 학습했기 때문입니다. 이 방식으로 라벨링을 거듭할수록 루프가 복리 효과를 내며, 각 라운드에서 다음 라운드에 사용할 더 나은 사전 주석 생성 모델이 만들어집니다.

실무적으로는 프로젝트가 진행될수록 자동화 성능이 향상됩니다. 일반 모델이 처음 100개 이미지에 사전 주석을 얼마나 잘 생성하는지만으로 도구를 평가하면, 10,000번째 이미지에서의 성능을 과소평가하게 됩니다.

데이터셋 품질을 저하시키지 않고 워크플로 실행하기#

자동화는 위험을 없애는 것이 아니라 옮깁니다. 검토자가 사전 주석이 달린 프레임을 그대로 통과시키면 꼼꼼히 확인한 프레임과 구분되지 않으며, 이미 박스가 그려져 있으면 확증 편향이 강하게 작용합니다.

자동화를 확장하기 전에 마련할 만한 관리 방안은 다음과 같습니다.

• 사전 주석을 승인하지 말고 검토하세요. 검토자가 초안을 수정하는 것임을 명확히 안내하고, 비현실적으로 높은 승인율을 점검하세요.
• 사람이 직접 라벨링한 평가용 데이터셋을 따로 확보하세요. 평가 대상과 같은 모델 계열로 테스트 세트에 자동 라벨링을 했다면, 측정하는 것은 정확도가 아니라 일치도입니다.
• 표본을 추출하고 다시 확인하세요. 매 라운드마다 승인된 자동 라벨의 무작위 일부를 추출해 독립적으로 처음부터 라벨링하세요. 실제 품질을 보여주는 지표는 불일치율입니다.
• 자동화 성능이 가장 낮은 클래스를 주시하세요. 크기가 작은 객체, 심하게 가려진 객체, 드문 클래스에서 제안이 실패하며 발견되지 않은 오류가 집중됩니다.
• 온톨로지를 안정적으로 유지하거나 버전 관리하세요. 자동화는 기존 클래스 정의를 정확하게, 그리고 빠르게 전파합니다.
• 데이터 출처와 이력을 추적하세요. 어떤 라벨이 기계가 제안한 것이고 어떤 라벨이 사람이 직접 그린 것인지 알면, 이후 품질 조사를 효율적으로 수행할 수 있습니다.

자동화의 효용이 떨어지는 시점#

자동화는 클래스 정의가 명확하고 시각적으로 일관된 대용량 데이터에서 가장 큰 효과를 냅니다. 다음 세 가지 상황에서는 효과가 가장 작으므로 일찍 파악해 두는 것이 좋습니다.

첫 번째는 실제로 새로운 클래스입니다. 사용 가능한 모델이 부품, 결함, 이벤트를 개념적으로 인식하지 못한다면 사전 주석은 잡음을 생성하므로, 검토자는 실제 작업을 시작하기도 전에 이를 지워야 합니다. 수백 개의 데이터를 먼저 수동으로 라벨링하고 모델을 학습한 다음, 직접 만든 모델로 사전 주석을 생성하세요.

두 번째는 전문가의 판단이 필요한 경우입니다. 어떤 항목이 결함에 해당하는지를 판단하는 것이 어려운 작업이라면, 병목은 그리는 것이 아니라 판단하는 데 있습니다. 자동화는 자격을 갖춘 검사자 두 명의 의견 차이를 줄이지 못합니다.

세 번째는 데이터셋이 이미 충분히 큰 경우입니다. 어느 시점을 넘으면 동일한 장면에 라벨을 더 추가해도 정확도가 향상되지 않으며, 데이터 다양성이 제약 요소가 됩니다. 이는 데이터 선택 문제이므로, 여기에 자동 라벨링 역량을 더해도 중복 라벨만 더 빠르게 생성됩니다.